Googlebook には独自の AI 機能として、Gemini を搭載した「Magic Pointer」が搭載されていますが、画面上の情報が実際にどのタイミングでクラウドに送られているのかは明確になっていませんでした。
今回、Google の Alexander Kuscher 氏が、ポッドキャスト Android Faithful に登場し、Magic Pointer がデータをクラウドに送る境界線について説明しました。
ローカル処理とクラウド処理の境界
Kuscher 氏は、Googlebook で Magic Pointer を起動した場合、画面内でメール・画像・テキストブロックといった操作可能な要素を判別し、それらをハイライト表示する処理は Googlebook のローカル上で完結することを明らかにしました。
クラウド側の処理が発生、つまりデータをクラウドに送信するタイミングは、ユーザーが要素を選択したうえで Gemini に操作を依頼した段階になるとしています。
例として、あるメールが迷惑メールかどうかを確認する場合、対象がメールであると認識する処理自体はローカルで行われ、その内容を Gemini に分析するように依頼した時点で、選択した内容がクラウドのモデルに送信されます。
このことから、Magic Pointer はカーソルを有効にしている間、常に画面内容を Gemini に送り続けているわけではなく、ユーザーが処理をリクエストした段階で初めて送信されることが分かりました。
カーソルの動きが着想のきっかけに
Kuscher 氏は、カーソルの動き自体が Magic Pointer 開発のきっかけの一つになったことにも触れています。
社内テストでは、一部の従業員が 1 日の業務中にカーソルを約 1 マイル分動かしていたことが確認されたといいます。この結果が、カーソルの位置をユーザーの注意がどこに向いているかを示す手がかりとして活用できるという判断につながったとしています。
