Googlebook 向けとして、Gemini を搭載したポインター機能「Magic Pointer」が発表されていますが、実際にどのように機能しているかについてはまだ分かっていませんでした。
今回、Android Authority が Play ストアに掲載された Magic Pointer アプリの APK 解析を行った結果、「Magic Pointer」が画面上でどのように動作し、提案するのかが明らかになりました。
提案は 4 つに分類される
アプリから解析されたプロンプトによると、Magic Pointer はユーザーが選択した画面領域の内容を、次の 4 つのいずれかに分類したうえで提案チップを生成します。
- 理解 : チャートの説明や植物の特定など、選択した内容の解釈・要約
- 変換 : 文章のリライトや翻訳、表形式への変換といった編集作業
- 発想 : レシピからの献立提案や旅行先の情報提供など、入力を超えた提案
- 実行 : メールの返信やカレンダー登録、リマインダー設定といった実際の操作
このうち「実行」については、配車サービスの手配や食料品の注文、Wi-Fi やモバイルデータ上限といったシステム設定の変更まで含まれると記載されています。
提案チップには細かい生成ルールが存在する
プロンプトでは、提案チップの生成について最大 3 件、1 件あたり 45 文字以内に収めることが求められており、3 件を提示する場合は理解・変換・発想といった異なるカテゴリーから選ぶよう指示されています。
このほか、ユーザー視点での一人称表現を使うこと、「もっと詳しく」のような汎用的な提案を避け画面の内容に即した具体的な提案にすること、動詞や疑問形から書き始めることなど、表現面の細かいルールも定められています。
完結できない提案は除外される
Gemini 単体で完結できない提案は除外する仕組みも確認されており、プロンプトには Figma でモックアップを作成するといった外部アプリを前提とする提案や、Chrome で開く・Google マップを開くといった OS 標準の操作を提案しないよう明記されています。
Google カレンダーや Google マップなど、Google 純正アプリの操作については、アプリを開く提案ではなく Gemini の統合機能を使って直接完結させる指示になっています。
マジックサジェストとは異なる提案が優先
また、マジックサジェスト(Magic Cue) との重複を避ける仕組みも組み込まれており、Google カレンダーや Gmail、Google フォトなど、マジックサジェストが対象とする用途とは異なる提案を優先するよう記載されています。
安全面では、児童の性的搾取に関するコンテンツや個人情報、暴力的な内容などが含まれる場合、提案自体を生成しない仕組みになっていることも確認されています。
具体例も複数含まれる
プロンプト内には、メールスレッドの画像に対して「重要な決定事項を要約」、「返信を作成」、「次のステップを提案」を提示する例や、ニュース記事の画像に対して要約や関連情報の確認、内容を絵本形式に変換する提案を示す例など、20 件の具体例が確認されています。
ただし、これらはあくまで出力形式や意図の幅を示すための例であり、実際の提案は選択した内容に応じて生成されます。
実際の動作はまだ分からない
今回のアプリ解析によって、「Magic Pointer」の動作に関するヒントは得られましたが、これが実際の Googlebook でどの程度実用的かはまた別の問題です。
説明を見た限りでは、生産性向上や手間を省くという点で便利そうですが、理解や変換については Gemini in Chrome でも代替できる分野ではあるので、「Magic Pointer」が Googlebook に統合されることでしかできないことがどの程度あるかが気になります。
なお、これは開発中のコードに基づく内容であるため、実際のリリース時までに変更される可能性があることに注意してください。
- Googlebook とは。Chromebook との違い・発売時期・対応モデルまとめ
- Googlebook が来ても Chromebook をいま選ぶ理由。ブラウザメインならむしろあり
- Googlebook は本当に Chromebook の後継になれるか。長年のユーザーが感じる懸念と可能性
- Googlebook の Magic Pointer が Gemini in Chrome にも展開予定。詳細を公開
