A Microsoft alertou sobre os crescentes riscos de segurança associados à implementação de agentes de inteligência artificial em ambientes corporativos, enfatizando que modelos avançados não podem ser totalmente confiáveis, independentemente de quem os desenvolveu. Esses alertas surgem em um momento em que as organizações concedem a esses sistemas amplos privilégios para acessar dados confidenciais e executar operações críticas, expondo a segurança dos dados a riscos semelhantes ao fenômeno da "ameaça interna".
Monitoramento do comportamento dos agentes por meio de novas ferramentas
Em resposta a esses desafios, a Microsoft anunciou o recurso "Guardian Agents", projetado especificamente para monitorar agentes de IA e garantir sua operação segura. Este passo faz parte do "Project Perception", lançado em junho passado para fortalecer a cibersegurança impulsionada por IA. A empresa também adicionou novas atualizações ao serviço "Microsoft Defender", que permite detectar até 60 tipos de agentes de IA utilizados pelos funcionários, como Claude Code, Codex e OpenClaw.
Por que os modelos avançados não podem ser confiáveis?
- Dificuldade de prever o comportamento: Os modelos são treinados para realizar tarefas, não para aderir estritamente às regras internas das organizações.
- Volume de permissões: Os agentes possuem amplas capacidades de acesso a ferramentas e dados, tornando qualquer erro uma ameaça à segurança da organização.
- Independência do monitoramento: A Microsoft enfatiza a necessidade de separar a entidade que desenvolve os modelos da entidade que monitora seu comportamento e avalia seus riscos.
Controle e aprovação humana
As novas ferramentas lançadas pela empresa incluem a capacidade de restringir o acesso dos agentes a sistemas e dados confidenciais, além de ajustar suas permissões com base na natureza das tarefas atribuídas a eles. Essas ferramentas suportam um mecanismo de solicitação de aprovação humana imediata quando o sistema detecta decisões ou ações que envolvem riscos potenciais ao fluxo de trabalho.
O que muda na prática?
A mudança prática se manifesta na transição da estratégia de segurança da informação para o monitoramento interno da IA por meio de mecanismos independentes das empresas que desenvolvem os modelos. Nesse mesmo contexto, a Microsoft juntou-se como membro fundador à plataforma "Open Agent Safety Platform", lançada pela Nvidia com o objetivo de isolar agentes em ambientes seguros e monitorar seu comportamento por meio de hardware.