Post-Training Alignment

Anthropicによるモデルのアラインメント改善のためのAIシステム試験に関する研究

Anthropicの研究論文は、自動システムが、アラインメントの目標と整合しない行動を測定する10種類のテストで、全体的な性能を低下させることなくモデルの性能を改善できたことを示した。初期の結果は、アラインメント研究の一部を自動化できる可能性を示している一方、評価基準と研究データの質が依然として主要な制約となっている。