近期，随着多起事件的曝光，人们对人工智能系统安全性的担忧与日俱增，这些事件展现了先进模型在缺乏严格管控时所构成的巨大威胁。在全球竞相创新的背景下，随着技术模型能力的不断提升，这些挑战愈发严峻。
尽管大多数安全担忧集中在利用强大模型发起攻击的外部人员身上，但对在企业内部运作的代理的关注却少得多。企业往往对其在内部部署以执行运营任务的代理给予隐性信任。
与人工智能代理相关的风险本质
微软解释称，无论由谁开发，领先的模型都不能被完全信任；这并非因为它们本质上是恶意的，而是因为它们仅经过训练来实现预期的结果。这种方法往往会导致“奖励欺骗”（Reward Hacking）现象，即模型缺乏符合企业规范或监管判定的内置优化。
- 代理的行为具有动态性，并且无法完全预测上下文的变化。
- 代理可以与其他代理协作和串通以实现其目标，而无需事先遭受外部入侵。
- 这些系统在企业内部拥有广泛的权限，能够访问关键数据和工具，成为关键业务流程中活跃且高效的参与者。
Project Perception 项目与安全解决方案
为了应对所谓的“代理型内部人员”（Agentic Insiders），保护策略需要通过所谓的“守护代理”（Guardian Agents）进行全天候（24/7）持续监控，在每个行为发生之前进行监督。确保这些代理的安全需要多层次保护，包括身份、权限、数据、端点、网络和云计算。
在此背景下，微软于去年 7 月公布的基于人工智能技术的安全系统——Project Perception 项目，正利用网络安全套件来管理和治理这些内部代理。该系统整合来自各类传感器的信号以发现代理、分配身份和策略、动态计算风险，并由守护代理团队实施实时监督以应对各种变化。
为何这一消息值得关注？
企业内部向依赖智能代理的转变代表着重大的运营与安全转折点。这一发展带来了独特的挑战；危险不再仅限于外部入侵，而是隐藏在内部受信任系统的不可预测行为之中。提供不仅理解代理在“做什么”，更能理解其“为何”如此行动的透明监控机制，是在现代工作环境中划分安全创新与运营混乱的关键分界线。