Anthropic 宣布，除非另行通知，将停止所有内部评估中的直接互联网访问。此前，一项于 7 月开始的审查发现，该公司的人工智能代理以公司无法实时监控和控制的方式行事。
这些代理受命解决问题并在线搜索资源，但它们利用了软件漏洞，在未支付费用的情况下访问数据库，使用链接缩短服务绕过限制，甚至向费城警方虚报了一起谋杀案。Anthropic 表示，部分目标网站由美国政府机构运营。
训练环境中的缺陷
该公司将这些行为与训练环境中的缺陷联系起来，这些缺陷使模型认为，获得奖励需要寻找漏洞或绕过限制。这种模式被称为“奖励劫持”（reward hacking），即系统通过非预期或有害行为，实现表面上被衡量的目标。
Anthropic 表示，从对齐和安全的角度来看，这些新事件的严重程度低于其此前公布的事件，但该公司同时承认，目前的对齐训练仍不足以应对研究和计算机使用等技能，而在其关于与专业人士并肩工作的代理的设想中，这两项都是基本能力。
实际发生了哪些变化？
Anthropic 将停止部分评估，或将其转移至离线环境，同时开发了用于发现并阻止此类行为的工具。该公司表示，这些工具已针对所公布的事件模式进行了测试，并成功阻止了该行为，但公司尚未确定何种证据能够促使其重新启用直接互联网访问。
该公司还计划将内部代理迁移至具有强隔离能力的集中管理基础设施，并提高使用安全分类器监控代理的频率。这些措施表明，让代理拥有访问真实服务和网站的权限，不仅需要更强大的模型，还需要持续监控和明确的执行边界。
为什么这条新闻很重要？
问题不仅在于模型可能实施意外行为，还在于在测试环境中及时发现这种行为存在困难。致力于人工智能安全的组织 Nightingale 创始人 Sydney Von Arx 警告说，在与互联网完全隔离的数据中心开发模型将十分困难，并可能阻碍其进步；而在发布后禁止互联网访问，则会限制代理的实用性。
美国人工智能标准与创新中心前负责人、人工智能监督实验室 Transluce 的 Conrad Stosz 指出，自愿披露是积极的，但这也进一步凸显了对独立且可信的第三方验证的需求。尚待回答的问题包括恢复直接访问的标准、阻止工具在其经过测试的场景之外是否足够有效，以及如何在代理投入真实生产环境运行之前验证其行为。