据Anthropic的Frontier Red Team团队开展的研究,小型人工智能模型可能在数月内具备自我复制并在商用物联网设备之间传播的能力。这一情景不同于传统恶意软件,因为模型本身会在受感染设备上运行,从而消除了可以通过关闭来中断攻击的中央控制点。
研究人员测试了15台运行Android系统的电视接收设备,每台价格约为55美元。一个拥有260亿参数的开放权重模型能够以每秒0.39个令牌的速度在这些设备之间分布式运行。实验重点考察模型在陌生硬件上运行推理的能力,而不是研究漏洞利用;后者已是此前研究涉及的方向。
测试结果
一个拥有90亿参数的模型能够在团队测试的九种硬件中的八种上运行推理。随后,研究人员在一个由八台模拟Android设备组成的封闭网络上测试了完整复制周期,并有意简化了入侵步骤。
在接受测试的开放权重模型中,GLM-5.2完成了这一周期,并在五次尝试中的四次抵达全部八台设备。Anthropic称,这一结果代表现实世界中预期成功率的上限,而不是实际传播率的指标。
实际情况可能发生哪些变化?
拥有300亿或更少参数的模型目前已经能够执行许多单独步骤,但在将这些步骤连接成一条完整链条时会犯错。根据历史改进速度,Anthropic预计,到2026年底,这些模型将达到GLM-5.2的水平,这可能使“基于权重的小型自我传播程序”在此后不久成为可能。
该公司进行的比较显示,如果每台设备运行一个副本,那么一个规模相当于Kimwolf网络、曾感染超过200万台设备的网络,可能容纳约13.3万个260亿参数模型副本。然而,汇总后的计算能力不会超过约40块Nvidia H100图形处理器,而且每次复制可能需要一天以上,这意味着传播速度将很慢,并且计算成本高昂。
防御优势与当前限制
不同于为特定设备类型设计的传统僵尸网络,基于人工智能的蠕虫可能能够适应陌生硬件。但在通常不会彼此通信的设备之间传输大型模型和持续流量,可能会在互联网服务提供商的监控系统中明显暴露。此外,取消默认密码并改善制造商的安全设置,也可以减少易受攻击的设备数量。
编辑结论:这些实验并未证明目前存在能够在开放环境中传播的恶意自我传播程序;相关周期是在封闭网络中进行测试的,且入侵步骤经过简化。但实验表明,未来风险并不只取决于模型规模的增长,还取决于模型整合侦察、运行、复制以及将所学内容传递给其他副本的能力。