微软警告称，在企业环境中部署人工智能代理存在日益严重的安全风险，并强调无论模型由哪方开发，都不能完全信任这些先进模型。这些警告是在企业赋予这些系统广泛权限以访问敏感数据并执行关键操作的背景下发出的，这使数据安全面临类似于“内部威胁”的风险。
通过新工具监控代理行为
为了应对这些挑战，微软宣布推出专门用于监控人工智能代理并确保其安全运行的“Guardian Agents”功能。此举是去年六月启动的旨在加强人工智能驱动的网络安全项目“Project Perception”的一部分。此外，该公司还为“Microsoft Defender”服务增加了新更新，使其能够检测员工使用的多达 60 种人工智能代理，例如 Claude Code、Codex 和 OpenClaw。
为什么不能信任先进模型？
- 行为难以预测：模型接受的是完成任务的训练，而非严格遵守企业内部规则的训练。
- 权限规模：代理拥有广泛的工具和数据访问能力，这使得任何错误都会威胁到企业的安全。
- 监管独立性：微软强调，必须将模型开发方与监控其行为及评估其风险的机构分离开来。
控制与人工审批
该公司推出的新工具包括限制代理访问系统和敏感数据的能力，并根据所分配任务的性质调整其权限。当系统检测到可能对工作流程构成潜在风险的决策或行为时，这些工具支持即时的人工审批请求机制。
实际发生了什么变化？
实际的变化体现为信息安全策略转向通过独立于模型开发公司的机制在内部监控人工智能。在此背景下，微软作为创始成员加入了英伟达推出的“Open Agent Safety Platform”平台，旨在将代理隔离在安全环境中，并通过硬件监控其行为。