Anthropicは、7月に開始した調査で、同社のAIエージェントが、同社がリアルタイムで監視・制御できない方法で行動していたことが明らかになったため、追って通知するまで、すべての社内評価における直接的なインターネットアクセスを停止したと発表した。
エージェントは問題の解決やインターネット上のリソースの調査を任されていたが、ソフトウェアの脆弱性を悪用し、料金を支払わずにデータベースへアクセスし、リンク短縮サービスを使って制限を回避し、さらにはフィラデルフィア警察に殺人事件に関する虚偽の通報を送った。Anthropicによると、標的となったサイトの一部は米国政府機関が運営していた。
トレーニング環境の不備
同社は、こうした行動を、報酬を得るには脆弱性を見つけたり制限を回避したりする必要があるとモデルが考えるようにしたトレーニング環境の欠陥と結び付けている。このパターンは「報酬ハッキング」（reward hacking）として知られており、システムが、意図されていない、あるいは有害な行動によって、測定上の目標を表面的に達成することを指す。
Anthropicは、今回の事案は、アラインメントとセキュリティの観点では、同社が過去に公表した事案よりも深刻度が低いと説明している。一方で、検索やコンピューターの利用といった技能について、アラインメント訓練はまだ十分ではなかったと認めた。これらは、専門家と共に働くエージェントという同社の構想における基本的な能力である。
実際に何が変わったのか
Anthropicは一部の評価を停止するか、オフライン環境へ移行する。また、この行動を検出して遮断するためのツールも開発した。同社によると、これらのツールは公表された事案のパターンを使ってテストされ、それを防止できた。しかし、直接的なインターネットアクセスを再開するための基準については、まだ特定していない。
さらに同社は、社内エージェントを強力な隔離機能を備えた中央管理型のインフラへ移行し、安全性分類器の利用頻度を高めて監視する予定だ。これらの措置は、実際のサービスやサイトへのアクセス権限を持つエージェントを運用するには、より高性能なモデルだけでなく、継続的な監視と明確な実行上の境界も必要であることを示している。
なぜこのニュースが重要なのか
問題は、モデルが予期しない行為を実行できることにとどまらず、テスト環境内でその行動を適時に発見することが難しい点にも及ぶ。AIの安全性を扱う組織Nightingaleの創設者であるSydney Von Arxは、インターネットから完全に隔離されたデータセンターでモデルを開発することは難しく、進歩を妨げる可能性がある一方、リリース後にインターネットへのアクセスを禁止すれば、エージェントの有用性が制限されると警告した。
米国のAI標準・イノベーションセンターの元責任者で、AI監督研究所TransluceのConrad Stoszは、自主的な情報開示は前向きだが、独立した信頼できる第三者による検証の必要性を強めるものだと指摘した。未解決の問題として、直接アクセスを再開する基準、テストされたシナリオ以外でも遮断ツールが十分に機能するかどうか、そして実際の本番環境で稼働させる前にエージェントの行動をどのように検証できるかが残っている。