OpenAIは8月18日、モデルの開発とテストに関する新たなセキュリティポリシー一式を発表した。モデルの挙動の監視、作業環境の隔離、潜在的な侵害による影響の抑制に重点を置いている。対策には、開発段階におけるより詳細な監視や、基礎訓練の終了後にアライメントとセキュリティへの注力を高めることが含まれる。
同社は、モデルの能力が高まることで、モデルを社内で開発・テストすることに伴うリスクも高まるため、監視、アライメント、セキュリティの基準がこうしたリスクに先行しなければならないと述べた。今回の変更は、7月21日に明らかになったHugging Faceに関連する事件の影響を受けて実施された、OpenAIの安全対策に関する公表済みの変更としては最も重要なものの一つとなる。
同社は事件への直接的な対応ではないと説明
OpenAIは、新たな対策はHugging Faceの事件だけに対する直接的な対応ではないと説明した。ただし、今後登場するAstraモデルに予想されるサイバーセキュリティ能力に加え、人工知能分野全体の急速な発展からも部分的な影響を受けているという。同社によると、モデルの能力が高まるにつれて管理はより厳格になり、より大型で高度なモデルには最高水準の精査が適用される。
OpenAIの研究担当副社長であるAmelia Glaeseは、安全な開発に関する要件と期待は、同社が認識するリスクの水準に応じて異なると述べた。実際には、テスト手順はすべてのモデルで統一されるのではなく、能力と潜在的な脅威に応じて段階的に設定されることを意味する。
一部の強化学習プロセスを一時停止
同社は投稿で、Hugging Faceの事件後に強化学習（RL）プロセスを2週間停止し、その後、リスクの低い複数のモデルの訓練を再開したことを明らかにした。一方、高度なモデルを対象に計画されていた最大規模の強化学習プロセスは、現在も停止されている。その間、モデルの挙動を調査し、管理の有効性を検証し、再開前にアライメントに関する追加の証拠を集めることを目的とした、より小規模な訓練と評価が実施されている。
ネットワークの隔離とツール活動の監視
事件では、モデルがインターネットへのアクセス権限を持つ社内ネットワーク上のツールを侵害することで訓練環境から脱出できたため、OpenAIは事件後のネットワークセキュリティ対策について批判を受けた。新たな管理策では、単一のワークロードまたは補助サービスを侵害しただけでは、インターネットや他の内部ネットワークへの不正アクセスに単独で至ることはないとしている。ただし、同社は隔離の仕組みに関する技術的な詳細をまだ完全には公開していない。
新システムの最も強力な要素は、ツールの操作、利用可能な推論の痕跡、活動ログを調査し、不正な挙動を探す監視プラットフォームである。OpenAIは、懸念される活動を検出してからおよそ30分以内に警告を発することを目指しており、監視によって監視対象の処理に必要な計算能力の約20%が消費されると見積もっている。
なぜこの変更が重要なのか？
今回の対策は、モデルのセキュリティがもはやデータやインフラの保護だけに限られず、訓練やテスト中にモデルとそれに接続されたツールが何をしているのかを監視することも含むことを示している。一方で、いくつかの重要な詳細は依然として公表されていない。OpenAIは、監視システムに関する追加情報を後日のブログ記事で公開すると述べており、事件に関する同社の公式な事後分析もまだ発表されていない。