Google が、Gemini をよりマルチタスク向けに進化させる新しい機能をテストしていることが明らかになりました。
Android Authority が行った Google アプリの APK 解析によると、Gemini が分割画面モードで開かれたもう一方のアプリの内容を直接読み取り、その内容に基づいて回答できる仕組みが確認されています。
現時点では大画面デバイス向けに限定してテストされている段階ですが、タブレットや折りたたみ式デバイスを日常的に使うユーザーにとっては、作業効率が高まるアップデートとなる可能性があります。
Gemini が分割画面の内容を読み取る新機能をテスト中
今回の機能は、Google アプリのバージョン 16.46.61 に含まれるコードから発見されたもので、Gemini のテキスト入力欄に「Share screen and app content（画面とアプリのコンテンツを共有）」という新しいボタンが表示されます。
これをタップすると、Gemini が分割画面のもう一方のアプリを解析し、その内容に応じた回答を行います。
従来、Gemini のオーバーレイは他アプリを操作すると閉じてしまう仕様だったため、マルチタスク時に使いづらい側面がありました。
この制限が緩和されれば、アプリ画面を確認しながら Gemini に質問できるようになり、作業の流れを妨げることなく利用できるようになります。
どんな場面で役立つのか
Gemini が分割画面の内容を理解できるようになると、アプリを確認しながら質問するといった操作がしやすくなります。
例えば、隣に開いたアプリの画面を見ながら、Gemini に気になった部分をテキストで尋ねるだけで、該当箇所の意味や背景をすぐに確認できます。
設定アプリの項目を調べたり、長文の説明を読み解いたり、資料アプリの画面を参照しながら内容を整理したりと、大画面デバイスでの作業を中断することなく続けられる点がメリットです。
Gemini Live でも画面の共有は可能ですが、今回のテキストベースの共有は、音声操作に切り替えずそのまま入力できる軽い操作感が特徴となります。
対応デバイスは Fold や Android タブレットが中心か
現時点の検証では、この機能が動作するのは折りたたみスマートフォンやタブレットなどの大画面デバイスに限定されており、一般的なスマートフォンでは動作しないことが確認されています。
APK 解析に基づく情報であるため確定ではありませんが、UI の配置などから大画面デバイス優先で実装されている可能性が高いと言えます。
日本国内でも Pixel 9 Pro Fold / 10 Pro Fold、Pixel Tablet、Galaxy Z Fold などのユーザーは一定数存在しており、正式に機能が展開されれば、これらのデバイスをより活用しやすくなると考えられます。
また、今回の機能は Android の大画面デバイスでのテストの話ですが、将来的に Gemini がデスクトップの ChatGPT アプリのように、画面に表示されているアプリ内容をより広く扱えるようになれば、Chromebook でも同様の使い方ができるようになる可能性があります。
正式リリースは未定
今回確認された機能は開発中であり、挙動はまだ安定していないとしています。また、この機能は変更されたり展開されない可能性もあることに注意が必要です。
とはいえ、Gemini が分割画面で隣のアプリを読み取りながら回答してくれるようになれば、折りたたみ式スマートフォンやタブレットを使うユーザーにとって大きな利便性向上につながる可能性があります。今後の正式リリースに期待したいところです。
