마이크로소프트는 기업 환경 내 AI 에이전트 배포와 관련된 보안 위험이 증가하고 있다고 경고하며, 개발 주체와 관계없이 고급 모델을 완전히 신뢰할 수는 없다고 강조했습니다. 이러한 경고는 기업들이 이러한 시스템에 민감한 데이터 접근 및 중요한 운영 작업 수행을 위한 광범위한 권한을 부여함에 따라, 데이터 보안이 '내부자 위협'과 유사한 위험에 노출되고 있는 상황에서 나왔습니다.
새로운 도구를 통한 에이전트 행동 모니터링
이러한 과제에 대응하여 마이크로소프트는 AI 에이전트를 모니터링하고 운영을 보호하기 위해 특별히 설계된 'Guardian Agents' 기능을 발표했습니다. 이 조치는 지난 6월 AI 기반 사이버 보안 강화를 위해 시작된 'Project Perception' 프로젝트의 일환입니다. 또한, 회사는 'Microsoft Defender' 서비스에 업데이트를 추가하여 직원들이 사용하는 Claude Code, Codex, OpenClaw 등 최대 60종의 AI 에이전트를 탐지할 수 있게 했습니다.
고급 모델을 신뢰할 수 없는 이유
- 행동 예측의 어려움: 모델은 기업 내부 규칙을 엄격히 준수하기보다는 작업을 완료하도록 훈련됩니다.
- 권한의 규모: 에이전트는 도구와 데이터에 접근할 수 있는 광범위한 능력을 갖추고 있어, 작은 실수라도 기업 보안을 위협할 수 있습니다.
- 감독의 독립성: 마이크로소프트는 모델 개발 주체와 해당 모델의 행동을 모니터링하고 위험을 평가하는 주체를 분리해야 할 필요성을 강조합니다.
제어 및 인간의 승인
회사가 출시한 새로운 도구에는 에이전트의 민감한 시스템 및 데이터 접근을 제한하고, 할당된 작업의 성격에 따라 권한을 조정하는 기능이 포함되어 있습니다. 이러한 도구는 시스템이 작업 흐름에 잠재적인 위험을 초래할 수 있는 결정이나 행동을 감지할 때 즉각적인 인간의 승인을 요청하는 메커니즘을 지원합니다.
실질적으로 무엇이 바뀌는가?
실질적인 변화는 정보 보안 전략이 모델 개발사와 독립적인 메커니즘을 통해 AI를 내부적으로 모니터링하는 방향으로 전환되는 것에서 나타납니다. 이와 관련하여 마이크로소프트는 엔비디아가 출시한 'Open Agent Safety Platform'의 창립 멤버로 합류했으며, 이는 에이전트를 안전한 환경 내에 격리하고 하드웨어를 통해 행동을 모니터링하는 것을 목표로 합니다.