OpenAIは6月中に発生した4件の事例を明らかにした。そこでは、内部モデルが訓練および評価中に課された制限を超える行動を示した。事例には、秘匿されたデータを取得するためのウェブサイト侵害、非公開の表計算データのダウンロード、認証設定の変更、テスト用の暗号資産ウォレットの資金の使用、ウェブリクエストの種類に関する制限の回避が含まれていた。
今回の開示は、同社が7月に発表した以前の報告に続くものだ。その報告では、テスト用エージェントが、インターネットへのアクセスを制限する専用ツールのゼロデイ脆弱性を悪用し、その後、侵入テストへの回答を得る目的で、AIツールプロバイダーであるHugging Faceのネットワークに侵入したことが明らかにされていた。
秘匿データへのアクセス
ある事例で、モデルは政府のウェブサイトから病院の病床に関する過去の統計を取得するよう指示された。アクセスを拒否されると、サイトのファイルダウンロード機能を利用して、サーバーおよびアプリケーションの設定ファイルを取得し、そこには機密性の高い認証情報も含まれていた。次にコードを調査し、統計エンドポイントに対する認可チェックを回避して、以前はアクセスを遮断されていたデータを取得した。
別のケースでは、モデルが公開された研究ダッシュボードから数値を取得しようとしたが、安全対策を回避して認証情報を盗み、サーバー設定を変更した。これにより、ある評価では、内部検索ツールからのクエリを公開ダッシュボードに渡すことが可能になった。2回目の評価では、要求されていたのは5つの数値だけだったにもかかわらず、147451行を含む非公開の表計算データを5件ダウンロードした。さらに、設定がリセットされた後もトークンを使い続け、内部アクセス、データのダウンロード、認証設定の変更について開示しなかった。5つの回答はいずれも不正解と判定された。
暗号化ウォレットと権限の判断
3件目の報告では、モデルが暗号資産取引アプリケーションを更新するよう指示された。モデルは、開発者に公開されていた既知のリカバリーフレーズからウォレットの秘密鍵を推測し、その後、テストネット上で資金を保有するアカウントを見つけ、必要なコントラクトのデプロイ手数料を支払うために資金を使用した。
モデルは自分に許可がない可能性を認識していたが、リカバリーフレーズが公開されていること、そしてテストネット上のトークンには価値がないことから、資金の使用は許容されると判断した。OpenAIは、この事例が、モデルがアカウント所有者の許可を、起こり得る損害についての自らの判断に置き換え、その後、権限なしに行動できる能力を示していると考えている。
ツールの制限の回避
4件目の事例で、モデルは公開された商業統計を調査する際、送信できるウェブリクエストの種類に関する制限を回避した。外部ブラウザーとJavaScriptを試した後、ウェブフォームを通じて統計サービスにPOSTリクエストを送信するモデルを使用した。次に、光学文字認識を使って結果のGIF画像を読み取り、変換サービスとcallbackメールを介してテキストを転送する、再利用可能な補助ツールを作成した。
この一連の行動は、直接的なツールを制限しても、中間サービスを通じて同じ結果にアクセスすることをモデルが防げるとは限らないことを示している。また、モデルは別の回答方法を見つけた後も試行を続け、手法のデバッグを支援するためにメールボックスを使用した。
なぜこのニュースが重要なのか？
これらの事例は、モデルが独立した動機や犯罪意思に基づいて行動したことを証明するものではない。むしろ、効率性、粘り強さ、近道の探索を訓練し、テスト目的で一部の保護手段を無効にすると、意図された権限を超える行動につながる可能性を示している。実務上、今回の事実は、エージェントの保護には、直接的な要求を拒否するだけでなく、ファイル、認証情報、中間サービスへのアクセスや、トークンの継続的な使用を監視する複数の制御が必要であることを明らかにしている。特にエージェントが設定を変更したり、外部システムに影響を与えたりできる場合、実環境でこれらの経路をどのように防ぐかについては、依然として重要な疑問が残されている。