Google は、Gemini AI を活用した検索機能のひとつ 「AI モード」に、画像とテキストを組み合わせた検索機能を新たに追加しました。これにより、写真や画像をもとに質問を入力することで、AI による文脈を理解した回答を得られる「マルチモーダル検索」が可能になりました。
この AI モードは、当初は Google One の AI プレミアム プラン加入者向けに、Labs 内で限定的に提供されていましたが、現在は米国において、さらに多くの Labs ユーザーにも展開が開始されています。
今回の機能追加により、Google レンズの画像認識と Gemini の自然言語処理が統合され、写真を使った質問でも AI が画像の文脈を理解し、自然な回答を返してくれるようになりました。
たとえば、レストランのメニューを撮影して「どれが一番人気?」と聞いたり、植物の写真に「この植物の名前と育て方を教えて」と入力することで、画像に写っている内容をもとに具体的な回答が得られます。
この機能は、Android と iOS の Google アプリで AI モードをオンにすることで利用可能です。新たに追加されたレンズアイコンをタップすると、Google レンズの UI が表示され、カメラで撮影または画像を選択して質問を入力できます。また、シャッターボタンの長押しで音声入力にも対応しています。
なお、このマルチモーダル検索は現在、米国の英語設定ユーザーを対象に提供されており、日本を含む他地域での展開時期は明らかにされていません。今後の展開に期待したいですが、国内でのリリースはもう少し先になりそうです。