NVIDIA与众多科技公司和开源机构宣布成立Open Secure AI Alliance,旨在开发和共享开放技术与工具,帮助防御者在人工智能使用不断扩大的情况下保护软件和智能代理。该联盟以Linux Foundation社区的相关倡议为基础,包括Akrites倡议和OpenSSF的工作,重点是利用开放技术处理并披露漏洞。
该联盟包括来自云计算、网络安全、企业软件和人工智能研究领域的创始合作伙伴,其中包括NVIDIA、Adobe、Akamai、Amazon、Atlassian、Cisco、Cloudflare、CrowdStrike、Dell Technologies、Docker、GitHub和Google?
开放性作为防御工具
该联盟认为,网络防御需要开放模型和开放运行工具,因为它们使防御者能够检查系统、调整系统并在自己的基础设施上运行系统,同时保护数据并减少对单一供应商的依赖。根据该材料,这些工具可以通过提供可定制且适合本地环境的控制措施,补充先进的闭源模型。
NVIDIA承认,开放模型与任何强大的技术一样,可能被滥用,例如削弱防护措施或被重新用于网络攻击。然而,该材料认为,这些风险并不局限于开放系统,保持模型权重闭源也无法阻止有意图的攻击者尝试访问或利用先进能力。
该材料引用了Hugging Face近期遭遇的一起安全事件,称该公司在其基础设施上使用开放权重的GLM 5.2模型,分析了超过17,000项操作并遏制了入侵;此前,闭源人工智能工具阻碍了取证分析,因为它们无法区分攻击者和防御者。NVIDIA借此事件说明,防御者拥有能够检查、修改并在内部运行的先进系统十分重要。
NVIDIA的贡献与防护组件
NVIDIA表示,将通过开放模型、模型权重、数据以及关于代理运行框架的新研究为该联盟作出贡献。NVIDIA还在GitHub上开源了NVIDIA Labs Object-Oriented Agent (NOOA)项目。这是一个研究框架,旨在帮助代理运行框架更好地与模型集成,从而使代理行为更易于测试、跟踪、审计和治理。
参与者正在构建面向代理的开放防御生态系统,涵盖身份与隔离、安全模型格式、多模型扫描以及安全编程工作流。材料列举的例子包括HPE对SPIFFE/SPIRE的贡献,用于对代理和服务的身份进行加密验证;以及Hugging Face向PyTorch基金会提供Safetensors格式,该格式用于存储模型权重,并提供防止远程代码执行的保障。
呼吁建设共享基础设施
NVIDIA呼吁政府、企业和研究人员投资于开放的人工智能防御基础设施,例如数据集、评估框架、攻击模拟器和攻击性测试工具。NVIDIA还敦促政策制定者和监管机构将开放模型、运行框架和安全工具视为防御资产,并警告称,对开放人工智能系统实施全面限制可能削弱防御能力,并加剧对少数闭源供应商的依赖集中。