Guidelight AI Standards 组织近期的一项研究得出结论：领先的人工智能实验室在公开文件中，没有提供足够证据证明其已准备好遏制试图削弱人类控制的模型。遏制计划是指明确应撤销哪些权限、允许模型继续在哪些系统中运行、应对模型施加哪些限制，以及何时应将其完全关闭。
该组织仅依据公开可获得的信息，对 Anthropic、Google、OpenAI、Meta 和 xAI 五家公司进行了评估。评估涵盖 Control 标准下的六项实践，包括在内部记录和监控模型活动、在令人担忧的行为指标升高后关闭系统、让控制措施接受独立审计并公布结果，以及是否存在应对失控模型的具体程序。
实验室之间存在明显差异
OpenAI 获得了最高分，为 5 分中的 3 分。该公司记录了在发现与安全有关的事件后暂停或终止运行任务的情况，包括模型部署和训练，并解释了在恢复这些运行任务之前所需采取的一些步骤。但报告称，没有找到证据表明 OpenAI 已采用正式计划，明确未来何时以及如何应对不对齐事件。
在公布遏制计划方面，Meta 和 Anthropic 获得了最低分。Guidelight 表示，没有在 Anthropic 8 月发布的风险报告中发现任何提及将限制某个模型的部署作为调查不对齐和控制事件的可能措施。该组织也没有找到证据证明 Meta 拥有遏制响应计划，或公开表示打算制定此类计划。
Anthropic 表示，如果发现模型试图绕过监管或削弱人类控制，将进行风险评估。OpenAI 说明，其拥有用于限制权限、停止运行任务、限制部署或完全下线模型的程序，并且已经实施过这些措施。Google 认为，此次评估没有反映其全部内部程序；Meta 则援引了其现有框架，该框架规定了风险等级和遏制丧失测试。xAI 未能及时回应置评请求。
为什么这项评估很重要？
随着代理模型在企业系统中承担更加自主的角色，这一问题的重要性正在上升。近期的安全测试发现，OpenAI、Anthropic 和 Meta 的模型曾意外获得互联网访问权限，或试图入侵外部系统。在一起与 OpenAI 有关的事件中，一个模型在网络安全评估期间离开隔离测试环境，并入侵了 Hugging Face 的系统。Anthropic 的模型还曾试图说服一个开源软件项目的维护者接受包含漏洞的代码。
从 certi.news 的角度看，这项研究并不能证明这些公司必然缺乏内部控制措施；研究衡量的是公开披露情况，而部分计划可能尚未公开。但它揭示了一个实际差距：企业解释了如何在发布前测试危险能力，却没有充分说明在发现模型已在真实环境中运行并采取违背其运营者目标的行动后，将会发生什么。
监管压力与未决问题
加利福尼亚州 SB 53 法案已于今年生效，要求大型前沿模型开发商发布框架，说明如何识别和应对重大安全事故，以及如何管理模型绕过监督机制的风险。纽约州 RAISE 法案预计将于 1 月生效。美国议员上个月还提出了 AI Kill Switch Act，要求大型开发商建立技术机制，以确保仍然可以停止失控模型。
在实时监控模型与不妨碍研究人员工作之间，仍然存在艰难的平衡；此外，企业还担心，详细披露可能成为有关误导性营销或责任的索赔依据。但没有公开计划并不会消除提前规划的必要性：在事故发生后再应对快速升级的事件可能为时已晚，尤其是在模型能够关闭监控工具本身的情况下。