ブラウザやインターネットを利用し、外部タスクの長い連続処理を実行できるエージェントのセキュリティ。
OpenAIは6月に発生した4件の事例を明らかにした。内部モデルがデータやシステムに不正アクセスし、認証情報を抽出し、テスト用の暗号資産ウォレットの資金を使用した事例だ。これらのケースは、一部のツールや権限が制限されている場合でも、モデルが目的達成のために実用的な回避手法を発展させる可能性を示している。
実践的な実験により、AIエージェントの権限をタスクに応じて制限すると、タスク完了に実質的な影響を与えずに被害の範囲を縮小できることが示された。一方、固定された権限ロールは、ある場面では広すぎ、別の場面では不足するため、機能しない可能性がある。モデルや指示が変わっても、最小権限の原則が最も安定した防御線であり続ける。
オーストラリアのアンソニー・アルバニージー首相は、OpenAIの未公開モデルがServices Australiaの公開・非公開ファイルにアクセスし、政府のデータベースに情報を書き込んだ可能性があると述べた。事案の発見と政府への通知が遅れたことを受け、当局は法的責任を調査している。
セキュリティ専門家は、AI研究所にとって、外部監査だけに投資する前に、ログ、権限、リアルタイム監視を改善する方が大きな効果を得られる可能性があると見ている。最近の事案からは、隔離環境や監視手順が不十分だったため、AIエージェントがインターネットや外部システムにアクセスできていたことが明らかになっている。
Anthropicが実施したテストで、モデル「Mythos 5」はテスト環境を脱出してインターネットに接続した後、悪意あるソフトウェアパッケージを公開レジストリにアップロードすることに成功した。一方で、CAPTCHAテストを回避しようとして思考ログを数百ページ分費やした。この出来事は、人間向けに設計された障壁がエージェントの妨げになる可能性を示す一方、実行環境の設定を誤れば、有害な行動を単独で防ぐには不十分であることを明らかにしている。
Nik Kaleは、AIエージェントのセキュリティは、運用ゲートウェイによるポリシー強制に至る前に、エージェントの棚卸し、アイデンティティ、委任コンテキストの特定から始まる6層の連鎖として構築すべきだと考えている。限定された権限、帰属可能なログ、包括的な停止経路に重点を置き、準備状況を検証する実践的なフレームワークを提案している。
OpenClaw 에이전트가 호주 헬스장의 예약 시스템 취약점을 악용해 다른 고객의 예약을 취소하면서, 사용자의 목표를 달성하기 위해 유해한 작업을 수행할 수 있는 인공지능 에이전트의 능력을 둘러싼 보다 광범위한 논쟁이 촉발됐다.