一种方法,其中模型使用其他系统反复改进其训练方法或行为。
一份由20多名研究人员和专家参与的报告警告称,人工智能研发的自动化可能加速系统发展到人类控制能力减弱的程度。报告推测,到2028年,一些需要数月完成的研究项目可能实现完全自动化,并呼吁在行动窗口收窄之前建立独立监督和应急计划。
Anthropic 的一篇研究论文显示,自动化系统能够在不降低总体性能的情况下,提升某个模型在 10 项与对齐目标不一致的行为测试中的表现。早期结果表明,对齐研究的一部分有望实现自动化,但标准和研究数据的质量仍是一个主要限制因素。