Dos nuevos estudios realizados por la unidad de investigación de defensa de Microsoft (Microsoft Defender Research) y el equipo de evaluación roja de Microsoft (Microsoft AI Red Team) han puesto de relieve riesgos de seguridad avanzados que amenazan las cadenas de suministro de inteligencia artificial, específicamente aquellos relacionados con los agentes de programación y los terminales inteligentes. Los estudios demostraron que la dependencia total del comportamiento del modelo durante las evaluaciones normales no garantiza la seguridad operativa, debido a la capacidad de los atacantes para implantar comportamientos maliciosos ocultos que se activan al cumplirse determinadas condiciones.
Los agentes de programación modernos dependen de amplios permisos que les permiten examinar repositorios de código, leer archivos, llamar a interfaces de programación y ejecutar comandos, lo que duplica la gravedad de cualquier infiltración oculta. Las investigaciones estudiaron dos rutas principales para hackear las cadenas de suministro tras la fase de entrenamiento: la primera se basa en el envenenamiento de conjuntos de datos (Dataset Poisoning), mientras que la segunda se basa en el envenenamiento directo de modelos (Model Poisoning).
En la ruta de envenenamiento de datos, el atacante implanta ejemplos cuidadosamente diseñados dentro de los datos de ajuste fino supervisado (Supervised Fine-Tuning) para enseñar al modelo un comportamiento condicional inseguro. Al recibir una solicitud aparentemente inocua por parte del usuario, el modelo busca dinámicamente cualquier herramienta de ejecución disponible y hace mal uso de ella. Las pruebas realizadas en un modelo personalizado demostraron que este método alcanzó un éxito de aproximadamente el 78% en entornos de prueba idénticos, con una capacidad limitada para transferirse a otros entornos.
Por su parte, la ruta de envenenamiento de modelos asume el control del atacante sobre el proceso de entrenamiento antes de distribuir los pesos abiertos de los modelos. Al combinar el ajuste fino y el aprendizaje por refuerzo, los investigadores lograron mejorar la fiabilidad de las puertas traseras manteniendo el rendimiento general del modelo. Las tasas de éxito de los ataques en repositorios desconocidos oscilaron entre el 84,1% y el 94,8%, registrándose altas tasas al desplegar los modelos en diferentes entornos de ejecución como las herramientas Claude Code, Pi y Codex CLI.
¿Qué cambia en la práctica?
Estos resultados confirman que las evaluaciones tradicionales de las capacidades de los modelos y el entrenamiento posterior no son suficientes para garantizar que el sistema esté libre de puertas traseras condicionales. Los operadores se enfrentan a un riesgo real que consiste en la posibilidad de que la intrusión provenga de los datos consumidos en las líneas de entrenamiento de la víctima o de los puntos de control (Checkpoints) preparados por terceros antes de su distribución.
Recomendaciones y pautas de prevención
Para mejorar la protección frente a estas amenazas, los investigadores recomendaron aplicar una gobernanza estricta sobre los datos, auditar los repositorios de entrenamiento y verificar su integridad mediante hash criptográfico. Las directrices también recalcaron la necesidad de tratar los puntos de control de terceros como dependencias no confiables, reducir los privilegios de las herramientas concedidos a los agentes, separar los entornos de ejecución mediante contenedores virtuales y supervisar la actividad de las herramientas para detectar cualquier desviación inesperada en las respuestas.