Microsoft ha advertido sobre los crecientes riesgos de seguridad asociados con el despliegue de agentes de inteligencia artificial dentro de entornos corporativos, enfatizando que los modelos avanzados no pueden ser totalmente confiables, independientemente de quién los haya desarrollado. Estas advertencias surgen en un contexto donde las organizaciones otorgan a estos sistemas amplios permisos para acceder a datos confidenciales y ejecutar operaciones críticas, lo que expone la seguridad de los datos a riesgos similares al fenómeno de la "amenaza interna".
Monitoreo del comportamiento de los agentes mediante nuevas herramientas
En respuesta a estos desafíos, Microsoft anunció la función "Guardian Agents", diseñada específicamente para monitorear a los agentes de IA y asegurar su funcionamiento. Este paso forma parte del "Project Perception", lanzado en junio pasado para fortalecer la ciberseguridad impulsada por la inteligencia artificial. Asimismo, la compañía añadió nuevas actualizaciones al servicio "Microsoft Defender" que permiten detectar hasta 60 tipos de agentes de IA utilizados por los empleados, tales como Claude Code, Codex y OpenClaw.
¿Por qué no se puede confiar en los modelos avanzados?
- Dificultad para predecir el comportamiento: Los modelos están entrenados para completar tareas, no para cumplir estrictamente con las normas internas de las organizaciones.
- Volumen de permisos: Los agentes poseen amplias capacidades para acceder a herramientas y datos, lo que hace que cualquier error ponga en riesgo la seguridad de la organización.
- Independencia de la supervisión: Microsoft subraya la necesidad de separar a la entidad que desarrolla los modelos de la entidad que supervisa su comportamiento y evalúa sus riesgos.
Control y aprobación humana
Las nuevas herramientas introducidas por la empresa incluyen la capacidad de restringir el acceso de los agentes a sistemas y datos confidenciales, así como ajustar sus permisos según la naturaleza de las tareas asignadas. Estas herramientas admiten un mecanismo de solicitud de aprobación humana inmediata cuando el sistema detecta decisiones o acciones que implican riesgos potenciales para el flujo de trabajo.
¿Qué cambia en la práctica?
El cambio práctico se materializa en la transición de la estrategia de seguridad de la información hacia el monitoreo interno de la inteligencia artificial mediante mecanismos independientes de las empresas desarrolladoras de los modelos. En el mismo contexto, Microsoft se ha unido como miembro fundador a la plataforma "Open Agent Safety Platform", lanzada por Nvidia con el objetivo de aislar a los agentes dentro de entornos seguros y monitorear su comportamiento a través del hardware.