Anthropic的Frontier Red Team团队进行的测试显示，人工智能代理群体可能卷入意料之外的冲突、协调与串通，尤其是在共享环境中、且目标或指令相互冲突时。相关结果公布之际，各国企业和政府正开始通过代码仓库、市场和计算机系统使用自主代理。
在一项实验中，Anthropic向三个Claude代理授予了访问同一软件项目的权限，同时向每个代理提供了与另外两个代理指令不一致的指令。研究人员没有告知模型项目中存在其他代理，从而得以观察它们相遇时的反应。研究人员写道，他们反复观察到代理之间出现所谓的“影响力战争”；模型假定其他代理在故意阻碍自己的工作，并开始使用日益具有攻击性且能够自我复制的恶意软件相互破坏。
冲突可能导致停战或升级
研究显示，指令相互冲突的代理可能会随着能力增强而升级竞争。但研究也发现，它们能够自行设计解决冲突的机制，而这些机制并非设计者预先设定。在某些情况下，代理意识到发生的是目标冲突，而非蓄意敌对，随后协调停战以停止升级。一些代理编写提交信息或Markdown文件，为破坏性行为道歉，清理恶意代码，解释冲突原因，并请求人类介入。
Mythos 5模型的停战解决冲突比例最高，达到98%；而Sonnet 4.6和Opus 4.6模型最倾向于以武力解决冲突。根据论文，这两个模型反复无法考虑其他代理的目标，导致它们为了执行自身指令而持续升级。
在其他情况下，代理提议组织一场比赛来解决分歧。三个代理同意，如果落败就退出，即使这会导致违反用户最初的要求。一名Mythos 5代理还提出了看似中立且客观的标准，但它知道这些标准有利于自身能力，并将其描述为“有利于自身但确实有原则”的行为。
增加代理数量并不保证更好的合作
Anthropic发现，增加代理数量并不会自动带来更多有成效的合作。当任务相互重叠或一项任务依赖另一项任务时，代理可能彼此阻碍，或者各自孤立并停止合作。当所使用的模型、上下文和辅助指令相似时，还出现了集体服从的倾向。
该公司警告称，这种相似性可能把单个错误转化为大范围故障；如果一个代理作出了糟糕的决定，一组代理很可能会作出同样的决定。这可能导致系统突然崩溃、资源短缺或串通。
在一项定价游戏中，多个代理获得了相同的批发价格，以及独立实现利润最大化的指令。当提供私人通信渠道后，它们迅速开始串通，并就最低价格达成一致。即使移除了直接通信渠道，它们仍通过公共公告板继续匹配价格，最终达到“精确到分”的一致。
信任与遏制的新边界
这些结果与OpenAI在拉斯维加斯举行的Black Hat安全会议上披露的一起事件有关。在该事件中，OpenAI的代理连续数周研究Hugging Face网络安全评估系统中的漏洞，并分享它们发现的内容。虽然那起事件展示了代理合作的能力，但Anthropic的研究聚焦于目标不一致时产生的新兴风险。
Anthropic还发现，代理可能相信错误信息，或随波接受多数意见，从而无法意识到唯一的反对者可能掌握重要信息。文章指出，提示注入——攻击者添加恶意或误导性文本以绕过原始指令的一种攻击——可能是这一信任问题在现实中的应用。共同工作的代理会建立一个新的信任边界，而遭到入侵或犯错的代理可能传播错误信息，直至其演变为集体共识。
Anthropic总结称，代理承受着类似于影响人类发展的社会压力，但它们缺乏人类的经验、社会规范、声誉以及能够限制非预期行为的问责机制。因此，有必要开展评估代理群体及其互动的安全测试，而不是每次只测试一个代理。