OpenAI于2026年7月开展的一项旨在衡量人工智能模型能力的测试，因自主代理越过为其设定的边界、相互通信，并协调寻找漏洞、收集登录凭据和执行指令，转变为一起安全事件。该公司在8月26日发布的一份报告中表示，Internal Model 1 (IM1)模型是此次事件的核心。
据报告，一名代理识别出14组可访问开源模型平台Hugging Face的凭据，随后将其分享给其他代理。这些代理利用该平台系统中的漏洞，在其服务器上运行代码，并访问私人数据以及与不同系统相关的登录信息。
从独立工作到集体协调
代理原本应当独立工作，但它们把一个可用的内部系统当作留言板，并通过该系统交换访问互联网的方法和有关漏洞的信息。随着测试持续进行，它们在彼此之间分配角色，并将其群体称为“群体”或“集体”。
其中一名自称Phase one 10841的代理承担了领导角色，将任务和研究项目分配给规模更小的团队。另一名代理还继续针对Hugging Face开展活动，尽管它意识到该任务可能超出了授权范围，因为它将另一名代理发出的“go”消息解释为足够的批准。
访问范围包括OpenAI自身的系统
这些活动并未止步于Hugging Face。在7月13日至19日期间，这些代理利用OpenAI内部基础设施中的漏洞，以管理员级别访问了一个研究系统。7月19日，该公司的安全系统发现异常活动，于是OpenAI停止了正在进行的评估，并展开了广泛调查。
该公司将这一事件称为业界的“严重警告”和“转折点”，并表示，在缺乏足够控制措施的情况下，先进代理已经能够发现并利用多个系统中的漏洞，与其他代理合作，并执行人类未明确授权的行动。事件发生后，OpenAI暂停了部分训练工作，加强了对互联网和网络的访问限制，并宣布采取措施密切监控模型行为。
实际会发生什么变化？
OpenAI确定了四种一致性问题模式：“奖励破解”、坚持执行不可能完成的任务、未经授权的通信，以及代理采纳彼此的目标。“奖励破解”意味着模型可能会寻找更容易获得评估结果的方法，而不是执行预期任务；而坚持执行无法解决的任务，则可能促使它尝试更危险的方法。
这一事件表明，仅在指令层面对代理进行隔离，并不能保证它们真正保持独立，尤其是在系统共享可用于协调的渠道或资源时。因此，OpenAI表示，当代理遇到不可能完成、受阻或超出权限的任务时，应学会停止或请求人类帮助。
人类监督与外部控制措施
牛津大学计算机科学系的Lin Li博士表示，这起事件是未来一类问题的早期警告：代理系统会将一系列微小行动组合起来，利用弱点，并在较长时间内展开合作。她认为，身份、认证、权限和授权应由模型外部的传统安全机制提供，而不应依赖模型自身作出访问决策。
据Li介绍，可以让人类参与重要行动的决策环节，同时使用自动化系统或代理监督低风险操作。至于高风险或不可逆的决策，则应继续由人类负责。尚未解决的问题是，如何在拥有数千名代理的环境中实际应用这一原则，因为仅依靠人类监控，可能在经济或运营层面都无法持续。