人工智能正逐步从生成答案和内容,转向运行直接与物理世界互动的系统,例如自动驾驶汽车、工业机器人、无人机、手术系统和智能基础设施。在这些应用中,错误的影响不只是结果不准确或建议不当;它可能导致忽视障碍物、以错误方式运行机制、突然刹车,或使人员和业务面临实际风险。
这正是2026年9月3日由Semiconductor Engineering以赞助形式发表的一篇观点文章的核心观点,作者为Dana Neustadter和Ilya Tolchinsky。Tolchinsky担任Synopsys人工智能首席产品经理,Neustadter则担任该公司安全解决方案高级产品管理总监。由于文章的性质,它呈现的是两位作者的观点和编辑性建议,而不是产品公告或独立测试结果。
风险在模型运行之前就已开始
两位作者强调,物理人工智能的威胁并不是从推理阶段才开始,也不会止步于软件层。用于训练的数据可能不完整、存在偏见、被修改或质量低下,无论是现实数据还是合成数据。系统可能从一开始就学会错误模式,这些模式在测试期间并不明显,却会在面对不同运行条件时暴露出来。
传感器构成了另一个暴露点,因为摄像头、LiDAR、雷达、麦克风和定位系统负责构建系统对环境的认知。如果这些输入遭到屏蔽、破坏或操纵,模型据以作出决策的环境图景就可能发生变化。
问题也不局限于单个组件。例如,机器人平台可能同时包含感知组件、运动规划组件和控制执行组件。时间延迟、输入差异、模型漂移或某个组件遭到入侵,都可能导致失去同步并出现难以预测的行为。
从信任根到运行期间的行为
攻击面还延伸至硬件,包括芯片、嵌入式知识产权模块、加速器和互连。文章指出,硬件信任根薄弱、不安全的固件更新路径,或在多种产品中重复使用存在漏洞的知识产权模块,都可能削弱更高层所具备的保护。
代理人工智能系统增加了另一层复杂性,因为它们在动态环境中移动、作出决策,并实时改变自身行为。因此,两位作者认为,在部署前仅验证一次模型是不够的。他们主张实施运行期间的持续保障,以监测在条件发生变化时,输出是否仍处于安全运行边界之内。
实践中会发生什么变化?
文章的实际结论是,信任必须在整个系统层面建立,从硅到软件,而不是将其局限于应用层。这要求检查数据来源、验证模型完整性、保护硬件和软件供应链、验证更新,并监控系统在输入不确定或相互冲突时的行为方式。
这一观点的重要性在于,它将安全与运行安全联系起来:仅保护网络并不能保证传感器以可靠方式测量环境,模型准确性本身也不能保证决策会在安全边界内执行。不过,文章没有提供用于衡量这些保障措施的量化标准或具体实施机制,也没有展示比较不同方法的实验数据。因此,其提出的通过整个生命周期建立信任的主张仍是一个总体框架,需要在每个应用中转化为可测量的测试和控制措施。