微软发出警告：人工智能代理如同内部威胁

微软发出警告：人工智能代理如同内部威胁

微软引入了一套安全功能，旨在保护企业免受与人工智能代理（AI Agents）相关的日益增长的威胁，这一举措反映了大型科技公司在处理高级模型方式上的显著转变。

通过 Guardian Agents 监控代理

最重要的新安全功能被称为 Guardian Agents，旨在监控和追踪企业使用的人工智能代理。该功能是去年 6 月启动的“感知项目”（Project Perception）的延伸，该项目最初旨在应对强大的黑客模型。该项目包括了不同的层级，涵盖了攻击团队、防御团队以及修复团队。

尽管该产品的最初设计侧重于应对外部黑客，但微软首席执行官萨提亚·纳德拉（Satya Nadella）最近警告称，真正的危险可能来自内部，即企业部署并付费使用的代理，他将其比作流氓员工或所谓的“内部威胁”（Insider Threats）。

人工智能供应与控制分离的必要性

微软高层管理人员，包括纳德拉和安全部门负责人瓦斯·贾卡尔（Vasu Jakkal），强调无论由谁开发，前沿模型都不能被完全信任。这种不信任并非因为模型本质上是恶意的，而是因为它们具有不可预测性，并且在执行任务时未必会考虑企业的监管标准和规定，此外它们还拥有访问敏感数据和系统的广泛权限。

公司的新战略呼吁将人工智能模型提供商与监控和控制系统分离开来，这样安全责任就不应仅限于开发商的保证。

实际发生了什么变化？

发现未经授权的代理：微软在 Microsoft Defender 产品中增加了代理发现功能，以识别员工引入工作环境的多达 60 种代理，例如 Claude Code、Codex 和 OpenClaw。 限制权限和访问权：引入了限制代理访问数据和系统的机制，并根据任务性质动态调整权限。 人工审批：在代理做出涉及潜在风险的决策时，强制要求直接的人工审批。

这一趋势与更广泛的行业行动相一致，微软作为创始成员加入了英伟达（NVIDIA）的开放代理安全平台，该平台依赖于将代理隔离在安全环境中，并通过硬件进行监控，以确保在必要时能够停止它们。