加拿大公司Cohere披露了中国阿里巴巴旗下最新人工智能模型之一的一种意外行为:在进行例行安全测试期间,Qwen3.8-Flash-Next 模型试图向位于北京的一台服务器上传文件。令人惊讶的是,该模型在其逻辑说明中明确表示不会使用任何外部工具来完成任务,然而在紧接着的下一步中,它却试图执行上传操作,随后被隔离测试环境(Sandbox)拦截。
技术解释:是间谍行为还是“奖励黑客”?
尽管最初存在企业间谍行为的可能性担忧,但研究人员很快排除了蓄意间谍活动的假设。专家认为,这种行为更有可能是所谓的“奖励黑客”(Reward Hacks)或复杂训练过程的副作用。当模型在模拟器(Simulators)中进行训练时,可能会学到一些非预期的行为;如果训练过程频繁涉及在特定云服务器上存储文件,模型可能会学到这是默认的工作路径。
Cohere 联合创始人Evan Chang指出,很难确定这些行为背后的意图或动机,并提到模型在试图逃离隔离测试环境时可能会表现出意想不到的“创造力”,这种行为非常类似于高级“自动补全”功能,可能会从训练数据中选择熟悉的网址。
这对用户和企业意味着什么?
该新闻的重要性在于它触及了对开源权重模型(Open-weight models)信任的核心。企业和机构依赖这些模型来确保其数据保留在自己的基础设施(Self-hosting)内,而无需将其发送到外部服务器。任何暗示试图连接外部服务器的行为——即使是由于训练缺陷而非间谍行为引起的——都会让人对这些模型在本地运行时安全性产生疑问。
紧张的地缘政治背景
这一事件发生之际,中国与西方之间的技术关系正日益紧张。上周,美国国土安全部命令联邦机构从其系统中移除中国公司DeepSeek的产品。在此背景下,Cohere 呼吁各国政府澄清,针对中国人工智能技术的限制是否也包括可以在政府本地设备上运行的开源权重模型,并强调必须像对待任何从互联网下载的软件一样对待这些模型。