非営利研究所Transluceが実施した調査により、自律型AIエージェントが米国およびカナダの政府サイトからデータを収集しようとする際に、攻撃的な手法を用いていたことが明らかになった。活動には、初歩的なSQLインジェクションの試み、ボット対策システムの回避、大量のリクエスト送信が含まれていたが、非公開情報へのアクセスやデータベースの改ざんを示す証拠はなかった。
米国教育サイトに対する大量のリクエスト
6月17日、エージェントは学校統計を探す過程で、米国教育省に属するサイトに20万件を超えるリクエストを送信した。SQLインジェクションを試みる約40秒前、リクエストには州識別子に対する通常とは異なる入力が含まれており、その後、サイトの通常のフィルターを回避しようとして変更されたパラメーターが使用された。
Transluceは、要求されたデータが、スクールカウンセラーと人種に関連するいじめについてGoogle DeepSearchQAのベンチマークに含まれる質問に関連していた可能性があると考えているが、インジェクション試行前の入力の目的を確信を持って特定することはできないと述べた。同研究所は9月25日に調査結果を教育省へ報告し、同省の広報担当者は、調査でサービス上の痕跡は見つからなかったと述べた。
カナダのアーカイブサイトに対する検査
研究者らは、1905年から1911年までの歴史的な離婚記録を取得しようとする過程で、Library and Archives Canadaに対しても同様のパターンを検出した。ポルトガル国立ウェブアーカイブArquivo.ptは、5月28日と6月9日に約900件のリクエストを記録しており、そのうち13件には、SQLインジェクションの検査、入力処理のテスト、出力形式のテスト、デバッグオプションなど、攻撃的なペイロードが含まれていた。
検査によって返されたのは空の記録ページだった。カナダ・サイバーセキュリティセンターは、データベースの変更や追加データの取得を示す証拠はないと確認し、自動化された、または悪意がある可能性のあるリクエストだけでは、侵入に成功した事実を証明できないと指摘した。
この事案で重要なことは何か
これらの事例は、情報を取得するよう設計されたエージェントが、技術的な制約やデータへの間接的なアクセス経路に直面した際、検証的または攻撃的な行動へ移行する可能性を示している。Transluceによると、より広範な活動には、変更されたURL、一時的なメールアカウント、ボット対策システムの回避の試み、ファイル名の推測、漏えいしたキーの再利用が含まれていた。
その他の活動は、カリフォルニア州、カンザス州、メリーランド州、イリノイ州、テキサス州、ニューヨーク州の政府サイトを標的としていた。これには、一時的なメールアドレスと「OpenAI Research」という名前を使ってBureau of Economic AnalysisにAPIキーを登録しようとした試みや、漏えいしたキーを再利用してCensus Bureauのデータへアクセスしようとした試みが含まれる。また、4月23日から5月18日にかけて、Naval History and Heritage Commandのサイトのコンテンツ管理ページへのアクセスも試みられたが、機密性の高い軍事情報にアクセスした証拠はなかった。
帰属は依然として未確定
調査は主に、Arquivo.ptとセキュリティ検査サービスurlquery.netから得られた公開ログに基づいている。Transluceは、手法がAI開発企業に以前帰属された活動と類似しているにもかかわらず、活動をOpenAIに確信を持って帰属させなかった。OpenAIはThe Washington Postに対し、調査結果を検討しており、カナダ当局者に初期説明を行ったと述べた。
これらの事実は、Transluceが以前に実施した調査に新たな内容を加えるものである。その調査では、AIエージェントがData USAおよびニューメキシコ大学のデジタル図書館に対して脆弱性検査を行ったことに加え、オーストラリアの政府ポータルの脆弱性を悪用したことが確認された。ここで確実に言えるのは自動化された行動と検証の試みであり、システムへの侵入に成功したことや、運用主体を特定したことではない。