Google Gemini には、スマートフォンの画面に表示されている内容について質問できる便利な機能がありますが、この機能を使うためには「画面について質問する」というボタンをタップする必要があります。
今回、Android Authority が Google アプリのバージョン 16.37.46.sa.arm64 を解析したところ、このボタンをタップする操作が不要になる可能性が報告されました。
Gemini の画面分析が自動化
現在の Gemini では、画面の内容について質問する場合、まず Gemini のオーバーレイを起動し、｢画面について質問する｣ ボタンを手動でタップする必要があります。この操作を行わずに質問を始めると、Gemini は画面の情報を理解することができません。
今回発見された新機能は、ユーザーが画面の内容に関連する質問をしていると Gemini が文脈から推測し、自動的に画面を分析して回答を生成する、というものです。
新しい｢Screen Context (画面のコンテキスト)｣設定が追加される可能性
この機能は、新たに追加される可能性のある｢Screen Context (画面のコンテキスト)｣設定によって制御されると見られています。
この設定を有効にすると、｢Gemini が文脈を理解するため、いつ画面にアクセスすべきかを推測する｣ようになります。
この機能が有効になっている場合、Gemini が画面に関する質問だと判断すると、｢Getting app content… (アプリのコンテンツを取得しています…)｣というメッセージが一時的に表示され、分析が開始されます。
また、機能が作動した際には、ユーザーにその旨を通知するメッセージも表示されるようです。これにより、ユーザーは機能が意図せず有効になった場合に、すぐに設定をオフにすることができます。
Google は利便性を向上させつつも、ユーザーが明示的に許可した場合にのみ機能するよう、プライバシーへの配慮も行っていると考えられます。
まだ開発段階の機能
現時点では、この機能はまだ開発段階であり、最終的に一般公開されるかは確定していません。
報告によると、設定画面の UI では ｢gemini｣ が小文字で表記されるなど、まだ開発の初期段階にあるようです。
しかし、もしこの機能が実装されれば、Gemini の画面分析はより直感的でシームレスなものとなり、ユーザーの利便性は大きく向上するはずです。
