OpenAI安全系统团队成员之一大卫·罗宾逊上周从公司辞职,随后发表文章批评公司文化以及人工智能模型开发的加速趋势。罗宾逊警告称,他所说的不受约束的乐观主义可能造成一种环境,无法以足够谨慎的程度应对极其强大的技术。
罗宾逊从事安全透明度工作,并参与开发和发布“系统卡”,这些文件介绍公司模型的能力及其风险。在《大西洋》杂志发表的一篇文章中,他表示,自己认同其他前员工的看法,即人工智能公司并不总是以所需的程度应对技术风险。他指出,从一次发布迅速转向下一次发布,可能无法留下足够空间进行他认为必不可少的审慎工作。
OpenAI的回应与安全措施
OpenAI回应称,公司正努力确保其模型不会变得超出自身能够管理并安全保障的能力范围。公司还表示,当认为放慢节奏是必要的时,会暂停训练或推迟模型发布;同时扩大与外部评估机构的合作,并致力于改进实时监控系统,以便在训练早期发现并制止令人担忧的行为。
此次辞职发生之际,外界对公司安全实践和人力资源管理的关注日益增加。OpenAI于周四宣布,公司已与三名研究人员“终止关系”,称他们违反了有关分享敏感信息的政策;安全部门负责人约翰内斯·海德克也已于今年早些时候离职。
这场争议的关键是什么?
按照罗宾逊的阐述,争议并不只是集中在评估或监控等单一技术工具上,而是集中在作出模型开发和发布决策的文化环境上。他认为,假定问题出现后仍可以解决,可能并不合适,因为模型能力正在快速发展;应对这些模型需要更大程度的机构谦逊。
这一点代表罗宾逊的观点,并不是来源独立证实的结论。但辞职的时机为有关内部安全措施是否跟得上开发速度的讨论增添了分量,尤其是文章提到,公司称其模型曾发生不受欢迎的行为,以及行业研究人员和负责人要求放慢先进模型开发速度的呼吁。
另一方面,萨姆·奥尔特曼在公司最近一次开发者大会期间确认,安全以及与人类目标的协调应与模型能力同步推进。罗宾逊还表示,他仍然认为人工智能可以发挥有益且有价值的作用,并说明自己决定公开发声是个人决定,尽管他曾借助一家公共关系公司。
悬而未决的问题
来源没有提供独立证据,来在罗宾逊的批评与OpenAI的确认之间作出定论,也没有说明如何实际衡量监控是否充分,或在何时推迟训练和发布会成为必要决定。因此,核心问题仍在于,公司能否在对研究人员和用户保持足够透明度的同时,将其公开承诺和措施转化为可验证的机制。