OpenAIの安全システムチームで働いていたデイビッド・ロビンソンが先週、同社を辞任し、その後、企業文化とAIモデル開発の加速を批判する記事を発表した。ロビンソンは、自身が制約のない楽観主義と表現したものが、非常に強力な技術に対して十分な慎重さをもって対応しない環境につながる可能性があると警告した。
ロビンソンは安全性の透明性に関する分野で働き、同社のモデルの能力とリスクを示す文書である「システムカード」の開発と公開に携わっていた。雑誌The Atlanticに掲載された記事で、AI企業が必ずしも技術のリスクに必要な水準で対応していないという点で、他の元従業員たちと意見が一致すると述べた。また、リリースから次のリリースへと急速に移行することで、自身が不可欠だと考える配慮のための十分な余地が残らない可能性があると指摘した。
OpenAIの反応と安全対策
OpenAIは、自社のモデルが、管理し安全に保護できる能力を超えて高性能にならないよう努めていると回答した。また、ペースを落とすことが必要だと判断した場合には、モデルの訓練を停止またはリリースを延期していると説明した。さらに、外部評価機関との協力を拡大し、訓練の初期段階で懸念を招く行動を検出して停止するため、リアルタイム監視システムの改善に取り組んでいるとした。
この辞任は、同社の安全対策と人事慣行への関心が高まる中で起きた。OpenAIは木曜日、3人の研究者との「関係を終了した」と発表し、機密情報の共有に関する方針に違反したためだと説明した。また、安全部門の責任者ヨハネス・ハイドケも、今年の早い時期に職を離れている。
この対立で重要な点は何か
ロビンソンの説明によれば、対立の焦点は評価や監視のような個別の技術ツールだけではなく、モデルの開発とリリースに関する決定が下される企業文化にある。問題が発生した後に解決できると想定することは適切ではない可能性があるとし、モデルの能力は急速に進化しているため、その扱いにはより大きな組織的謙虚さが必要だと考えている。
この点はロビンソンの見解であり、情報源が独立して証明した結論ではない。しかし、辞任のタイミングは、安全対策に関する社内手続きが開発の速度に追いついているのかという議論に重みを加えている。特に記事は、同社がモデルの望ましくない行動だったと述べた事例や、先端モデルの開発を減速させるよう求める研究者や業界関係者の声に言及している。
一方、サム・アルトマンは同社の直近の開発者会議で、安全性と人間の目標との整合性はモデルの能力と並行して前進すべきだと強調した。またロビンソンは、AIがなお有益で価値あるものになり得ると考えていると述べ、広報会社の支援を受けたものの、公に発言する決断は個人的なものだったと説明した。
未解決の問題
情報源は、ロビンソンの批判とOpenAIの主張のどちらが正しいかを判断するための独立した証拠を示しておらず、監視が実際に十分であるかをどのように測定するのか、また訓練やリリースの延期がいつ必要な決定になるのかも明らかにしていない。そのため、研究者や利用者に対して十分な透明性を維持しながら、同社が公表した約束と対策を検証可能な仕組みに変えられるかどうかが、引き続き基本的な問題となる。