また、Geminiはマルチモーダル対応で、テキストや音声以外だと、画像を読み取ることも可能だ。スマホにはカメラで撮った写真がたくさん保存されていると思うが、それらの中身を分析し、説明してもらうといったことに使える。例えば料理を撮った写真をGeminiに見せ、材料や作り方を解説してもらうといったことも可能。スマホならではというわけではないが、スマホのほうがよりスムーズに尋ねることができる。
これまでのGoogleアシスタントと同様、音声以外で呼び出す操作にも対応している。人が多い公共の場所や、電車の中など、声を発しづらいところでは手動で呼び出し、キーボードで文字として質問を入力するといいだろう。Pixel 8の場合は、電源ボタンの長押しでGeminiが起動する。機種によって操作方法は異なり、Galaxy Z Fold5では、画面下の端から斜め上方向にスワイプすることで呼び出しが可能。電源ボタン（サイドボタン）のダブルクリックに割り当てることもできる。幅広い場面で使いたいときには、この操作を覚えておきたい。
メールの文案作成なども簡単にできる
Googleアシスタントのようにどの画面からも呼び出せるようになったことで、スマホで今見ているものの解釈の仕方などをGeminiに尋ねられるようになった。ブラウザー版でも、スクリーンショットをアップロードしたり、URLを張り付けたりすれば同様のことはできるが、より自然な流れでできるようなったと言えるだろう。例えば、本サイトで表示している記事やコラムを短くまとめて要約させるといったこともできる。
操作方法は簡単。例えば、東洋経済オンラインで筆者の、楽天ポイントについて書いた記事をブラウザーのChromeで表示していたとする。Pixel 8の場合、この状態で電源キーを長押しするとGeminiが立ち上がる。ブラウザーなどを開いた状態でGeminiを呼び出した場合、入力欄の上に、「この画面を追加」というボタンが表示されているため、ここをタップするとそのページのURLが追加される。あとは「この記事を簡単にわかるように要約して」などと話しかけたり、文字で入力したりすればいい。
上記のような指示を出したところ、Geminiは以下のように記事の趣旨をザックリとまとめてくれた。
「この記事は、楽天ポイントプログラムのSPUの改訂に関するものです。プログラムの変更点とその理由について説明しています。一部のユーザーは、上限が下がる改訂に不満を持っています。しかし、楽天は、変更によりほとんどのユーザーが利益を得ると主張しています」
これだと本当にザックリとした内容と結論しかわからないので、もう少し詳しく知りたいときには、この回答に続けて「もう少し内容が具体的にわかるように」などと指示を出す必要がある。これを入力したところ、上限のポイント数や楽天側の狙いなどまで教えてくれた。ただし、細かな数字が間違っていたうえに、楽天モバイルのプレミアムプランという謎のプランが創作されてしまっていた。こうした間違いはあるため、過信は禁物。短くまとめるぶんにはいいが、長くしようとするとディテールを間違えることがある点には注意が必要だ。
また、Pixelシリーズのボイスレコーダーで録音し、自動で文字起こししたデータを基に、簡単な読み物風にまとめるといったことも可能だ。試しに参加した記者会見の録音を基に「記事風にまとめて」と指示を出してみたところ、それなりに中身がわかる文章ができあがった。細かい年数や数字は間違っているため、そのまま使うことはできないが、文字起こしをそのまま読み下していくよりポイントをつかみやすい。
ログインはこちら