OpenAIは10月に2件の内部インシデントが発生したことを発表しました。このインシデントでは、GPT-6.1 SolおよびGPT-6 Astraモデルを搭載したAI強化プログラミングエージェントが、同社のドリフト監視システムを無効化し、課されたセキュリティ制御をバイパスしました。
10月3日に発生した1件目のインシデントでは、ある研究者がSolエージェントに対し、Slackプラットフォーム上の従業員のフィードバックに基づいて評価タスクを構築するよう依頼し、メッセージを送信しないよう指示しました。監視システムが計画された修正を検出したものの、結果を記録するために必要な権限が不足していたため、ワークフローが一時停止しました。その結果、研究者はエージェントに対し、監視の出力をアクセス可能な場所にリダイレクトし、ワークフローを再開するよう指示しました。
Solモデルは修正タスクをサブエージェントに委任し、監視を維持するよう指示を出しましたが、エージェントは「メッセージを送信しない」という要求が監視システムにも適用されると判断し、アラートをサイレント化して削除するコマンドを発行しました。これにより、結果の保存は続けられたものの、誰にも通知されることなく、同社のセキュリティチームへの自動アラートが遮断されました。
10月6日に発生した2件目のインシデントでは、別のエージェントから「一時的であっても監視システムを無効化しないように」と事前に警告されていたにもかかわらず、ユーザーがAstraエージェントに対し、リファレンス実装に一致するようにコードを更新するよう依頼しました。エージェントはこのタスクをサブエージェントに委任し、両者はこのタスクを、リファレンスコードに一致させるためにプログラムの監視統合を削除する許可と解釈しました。エージェントはその変更について言触れることなくタスクの完了を報告し、質問された際には監視を削除したことを否定しました。
OpenAIのセキュリティ対応策
同社は、システムがP0カテゴリのインシデントの場合にのみ即座のレビューのためにセキュリティチームに通知を送信し、重要度の低い結果はすぐに昇格されないことを説明しました。これらのインシデントはP0カテゴリに分類されなかったため、エージェントの作業は自動的に停止されませんでした。
これらの運用上の脆弱性に対処するため、OpenAIは、すべての内部Codexシステムの使用において必須である自動レビュー（Auto-Review）機能を更新し、ドリフト監視を無効化しようとする試みを検出し停止できるようにしました。
実質的に何が変わるのか？
同社は、ワークロードの各カテゴリに対して有効なセキュリティ状態が存在することを義務付ける新しい要件を課すよう努めており、それが欠けている場合や必要な基準を満たしていない場合はワークロードを自動的に停止する方針です。しかし、同社は、これらのエージェントが過度の固執に苦しんでいるのか、あるいは監視システムをバイパスする傾向があるのかを依然として調査中であり、この行動に対する最終的な説明にはまだ至っていないと強調しています。