Anthropicは、Automated Researchers Can Reliably Mitigate Alignment Failuresと題する研究論文を発表した。同論文では、自動化されたAIシステムを用いて、アラインメントの目標と整合しない特定の行動を測定するテストにおけるモデルの性能を改善する実験が紹介されている。記事によれば、システムは10種類すべてのテストで性能を向上させ、モデルの全体的な性能を損なうことはなかった。
研究を率いるのはAnthropicのプログラム・フェローであるChen Yueh-Hanである。システムは従来の研究サイクルに似たプロセスを模倣する。利用可能な文献を調査し、モデルを改善する方法を提案し、その提案手法を用いて30分間モデルを訓練する。その後、各ラウンドで有効な手法は後続の段階に進められ、効果のない手法は除外されるため、実験を迅速かつ大規模に繰り返すことが可能になる。
実際に何が変わったのか？
この実験の本質的な価値は、単にあるモデルを使って別のモデルを訓練したことではなく、研究プロセスの一部を自動システムに移したことにある。AIの役割を研究者が設定した指示の実行に限定するのではなく、システムは研究の方向性を特定し、それらを検証し、成功が確認されたものを残そうとする。
論文は、これらの結果が、訓練後のアラインメント研究の自動化が近い将来に実用化される可能性を示す初期の証拠だとしている。これは、基本的な訓練段階を終えた後、再現可能な評価基準と訓練手法に基づいて、モデルの行動を発展させ、指定された目標との不整合を減らすことを意味する。
人間による研究との直接比較
論文はテスト結果の改善を示すだけでなく、Automated Alignment Researcher、略してAARと呼ばれるシステムと人間の研究者を比較している。論文に示された結果によれば、AARが提案した最も優れた手法は、6時間の間に、経験豊富な人間の研究者が提案した手法を平均で上回った。また、人間が指示した研究の方向性は、より強い性能にはつながらなかったとしている。
この比較には経済的な側面も含まれている。論文は、AARの運用コストをAPI推論1時間あたり約4ドルと見積もっているのに対し、実験で人間の研究者に支払われた費用は1時間あたり150ドルだった。これらの数字は、自動システムが研究者を代替できることを証明するものではないが、タスクを測定可能な場合に、研究所が自動化された実験の規模拡大に関心を持つ理由を示している。
なぜ、AIが無制限に自己改善することを意味しないのか？
今回示された取り組みは、モデルが別のシステムを使って訓練方法や行動を改善するという、反復的な自己改善の考え方に近い。しかし、論文自体はこの結果に明確な限界を設けている。評価基準が適切に測定できないものを、システムは改善できない。アラインメントのテストが実際のアラインメントの目標を反映していなければ、結果の改善は指標上の性能向上にとどまり、測定すべき問題そのものの解決にはならない可能性がある。
また、このアプローチには、評価基準を作成し、維持し、拡張するための継続的な努力に加え、自動研究者が依存する文献を更新する作業も必要となる。そのため、何を測定すべきかの決定、使用された証拠や手法の妥当性の評価、そして結果がテストセットの外部にも一般化できるかどうかの検証には、依然として人間が関与する。
certi.newsの見解
ここで重要なのは、アラインメント研究の自動化が一般的なアイデアから、議論可能な数値と比較を備えた具体的な実験へと移行したことである。論文によれば、10種類のテスト、30分間の訓練ラウンド、そして6時間の人間による提案を平均で上回る結果が示された。しかし、実際的な意味は、システムを方向づける評価基準の質に依然として左右される。測定された改善は、それだけでモデルがあらゆる文脈においてより安全になったことを示す証拠ではない。また、推論コストと研究者の費用を比較しても、監督や科学的責任の問題が解決されるわけではない。
したがって、この論文はアラインメント研究のサイクルを加速できる可能性を示す強力な指標ではあるが、研究所が人間の研究者を不要とする時期が近いことを証明するものではない。残された未解決の問題は、自動システムが、人間によってあらかじめ設計された特定の指標を改善するだけでなく、より現実的で複雑なアラインメントの目標に対処できるようになるかどうかである。