Googleは、間接的プロンプトインジェクション（IPI）を、一度解決すれば終わるものではない、進化する脅威と捉えている。この種の攻撃は、Geminiを搭載したWorkspaceのように、複数のデータソースやツールを扱うAIアプリケーションを標的とする。攻撃者は、ユーザー自身からの直接入力がなくても、ユーザーのリクエストを実行する際にモデルが利用するデータやツールの中に悪意のある指示を埋め込むことができる。
Googleの生成AIセキュリティチームに所属するAdam Gavishが公開したブログ記事で、Googleは、エージェント型自動化における大規模言語モデルの利用拡大と、モデルが処理するコンテンツの多様化によって、敵対的攻撃の環境が常に変化していると説明している。そのため同社は、セキュリティ研究、攻撃テスト、合成データ、アプリケーション制御、機械学習モデルおよび言語モデルの更新を組み合わせた継続的なアプローチを構築している。
複数のソースから攻撃を検出する
プロセスは、攻撃者がより大規模に悪用する前に、新たな攻撃経路を検出してカタログ化することから始まる。Googleはこの目的のため、社内外のプログラムを利用している。その中には、人間によるレッドチームテストも含まれる。専門チームが現実的なユーザープロファイルに基づく攻撃を実行し、セキュリティと安全性の弱点を明らかにしたうえで、製品チームと連携して発見された問題に対処する。
同社は、機械学習によって支援される動的フレームワークを通じた自動攻撃テストも利用している。これらのフレームワークは攻撃ペイロードを生成し、アルゴリズムによって繰り返し変更することで、高度な脅威を大規模にシミュレーションする。これにより、複雑な攻撃経路を描き出し、手動テストだけではカバーしにくい、より多くのエッジケースにおけるセキュリティ制御の有効性を検証できる。
また、Google AI Vulnerability Rewards Program（Google AI Vulnerability Rewards Program）によって、IPIを悪用する新たな攻撃を発見した外部のセキュリティ研究者との協力も可能になる。Googleは、招待された研究者にプレリリース機能へのアクセスを提供し、新たな脆弱性の発見を目指す定期的なライブハッキングイベントも開催している。その後、各チームが問題を検証し、再現して対処する。
脆弱性のカタログ化と攻撃データの拡張
Googleは、ソーシャルメディア、プレスリリース、ブログなどを含むオープンソースインテリジェンスの情報源を通じて、公開された攻撃も監視している。これらの情報源から新たな脆弱性を抽出し、製品が影響を受けていないことを確認するため、社内で再現してカタログ化する。
新たな脆弱性はすべて、Google Trust, Security, & Safetyのチームによる分析を受ける。このプロセスには、脆弱性の再現、重複していないことの確認、攻撃手法および影響カテゴリとの関連付け、担当者への割り当てが含まれる。こうして、テストと外部ソースから得られた結果が、処理と追跡が可能なリストへと変換される。
攻撃を発見し、精査してカタログ化した後、GoogleはSimulaツールを使用して合成データを生成し、新たな攻撃の範囲を拡張する。このステップにより、攻撃の複数の変種を作成して完全性とカバレッジを向上させ、新たなトレーニングおよび検証用データセットを準備できる。ブログ記事によると、このプロセスによって合成データの生成量は75%増加し、防御モデルの評価と再トレーニング、防御の有効性の算出および報告に使用されるデータセットの更新が支援された。
複数のレベルで防御を更新する
Googleは、単一の保護レイヤーに依存していない。ユーザー確認、URLサニタイズ、ツールシーケンスのポリシーなどの決定論的防御は、設定を簡単に更新することで新たな攻撃に対応する。これらの制御は、基本的なツール呼び出し、URLサニタイズ、ツールシーケンスの設定を含む中央ポリシーエンジンによって管理される。これにより、正規表現を使って悪意のあるパターンを削除するなどの修正を、機械学習モデルや言語モデルの更新サイクルよりも速いペースで実施できる。
機械学習に基づく防御は、発見された攻撃の変種を含む合成データを使って再トレーニングされる。Googleはこのデータをトレーニングセットと検証セットに分割し、トレーニングに使用していない例で有効性を測定する。この手法は、トレーニングおよびテストデータの再現性と一貫性を確保するとともに、将来的なモデル更新の完全自動化に向けて拡張可能な構造を構築することを目的としている。
言語モデルに基づく防御も、合意された防御効果の指標と合成データの例に基づいてシステム指示を改善する、プロンプトエンジニアリングの対象となる。これと並行して、GoogleはGeminiモデルの強化にも取り組んでいる。これは、データ内に存在する悪意のある指示を内部的に認識して無視しながら、ユーザーが意図したリクエストを実行する能力を向上させるためである。同社によると、このプロセスによってGeminiは、注入された指示を検出して無視する能力を改善し、通常の処理中のモデル効率に影響を与えることなく、攻撃の成功率を低下させた。
改善を導入する前に有効性を測定する
Googleは新たな制御を追加するだけでなく、GmailやDocsなど、複数のWorkspaceの機能およびアプリケーションに対する攻撃を、評価の一貫性を確保するため統一されたアセットセットを使用してシミュレーションしている。機械学習モデルの更新や言語モデルのプロンプト変更など、特定の改善が実際に与える影響を判断するため、同社は防御を有効にした状態と無効にした状態の両方で、包括的な評価を実行する。
この比較により、変更の有効性を検証し、継続的な改善サイクルを支援する「前後」の指標が得られる。Googleは、IPIの性質上、多層防御と、セキュリティ研究、自動処理パイプライン、高度なモデルを組み合わせた反復的なプロセスが必要だと考えている。エージェント型アプリケーションとデータソースの進化に伴って形を変える問題に対し、固定的な解決策だけに依存するのでは不十分だからである。