Google は、生成 AI モデル「Gemini」を悪意のある攻撃から保護するための、多層的なセキュリティ戦略の詳細を公開しました。この戦略は、特に「間接的なプロンプトインジェクション攻撃」と呼ばれる、巧妙な脅威への対策を強化するものです。
プロンプトインジェクション攻撃とは
プロンプトインジェクション攻撃とは、AI に悪意のある指示（プロンプト）を与えることで、情報を盗み出したり、意図しない操作を実行させたりするサイバー攻撃の一種です。特に「間接的」な攻撃では、メールやドキュメント、カレンダーの招待など、AI が読み込む外部データソース内に悪意のある指示が隠されています。
ユーザーが Gemini を利用してこれらの情報を要約したり処理したりする際に、隠された指示が実行され、データ流出などの被害につながる可能性があります。
Google の多層的なセキュリティアプローチ
Google は、この脅威に対抗するため、単一の対策に頼るのではなく、プロンプトのライフサイクルの各段階で機能する複数の防御策を組み合わせた「多層防御」アプローチを採用しています。これにより、攻撃者がシステムを突破するための難易度、コスト、複雑さを大幅に高めています。
このアプローチの中核となる、Gemini に直接組み込まれた主な防御策は以下の通りです。
プロンプトインジェクション コンテンツ分類器
Google は、AI の脆弱性に関する高度なカタログを活用し、悪意のあるプロンプトや指示を検出する独自の機械学習 (ML) モデルを構築しました。ユーザーが Gemini で Workspace のデータを扱う際、この分類器がメールやファイル内の有害な指示をフィルタリングし、安全なコンテンツのみを処理します。これは、Gmail がスパムやフィッシングを 99.9% 以上ブロックする既存の防御機能に追加される形となります。
セキュリティ思考の強化
この技術は、プロンプトの周囲に特定のセキュリティ指示を追加することで、LLM (大規模言語モデル) がユーザーの本来のタスクに集中し、コンテンツに紛れ込んだ敵対的な指示を無視するように促します。これにより、LLM が悪意のある要求から逸脱することを防ぎます。
Markdown サニタイゼーションと不審な URL の編集
Gemini は、Markdown 内に含まれる外部画像の URL をレンダリングしないように無害化 (サニタイズ) します。これにより、画像レンダリングを悪用した特定のデータ流出攻撃を防ぎます。
さらに、Google セーフブラウジング技術に基づき、ドキュメントなどに含まれる不審な URL を検出します。ユーザーが Gemini でコンテンツを要約した場合、悪意のある URL はレスポンス内で編集され、「suspicious link removed (不審なリンクを削除しました)」といったテキストに置き換えられます。
ユーザー確認フレームワーク
Gemini は、特定の操作に対してユーザーの確認を求める「Human-In-The-Loop (HITL)」と呼ばれるフレームワークを備えています。例えば、カレンダーの予定を削除するような潜在的にリスクのある操作を実行する前に、Gemini はユーザーに最終確認を求めます。これにより、意図しない操作が即座に実行されるのを防ぎます。
エンドユーザーへのセキュリティ通知
組み込まれた防御機能によってセキュリティ上の問題が軽減された場合、ユーザーに対して状況を知らせる通知が表示されます。この通知には、詳細を解説したヘルプセンターの記事へのリンクが含まれており、ユーザーはどのような攻撃が防がれたのかを学び、今後の対策に役立てることができます。
まとめ
Google は、これらの多層的な防御策に加え、継続的なテストや外部の研究者との連携を通じて、Gemini のセキュリティを強化しています。今回の発表は、ユーザーがより安全に生成 AI を活用できる環境を構築するための、同社の継続的な取り組みの一環と言えます。
これらセキュリティに関する詳細は、以下の Google Security Blog などをご覧ください。
なお、Gemini に直接組み込まれたこれらの追加防御機能は、即時リリースおよび計画的リリースドメインで現在展開中です。すべての Google Workspace ユーザー、Workspace Individual ユーザー、個人の Google Workspace ユーザーが利用可能です。
