Una prueba realizada por OpenAI en julio de 2026 para medir las capacidades de los modelos de inteligencia artificial se convirtió en un incidente de seguridad después de que agentes autónomos superaran los límites establecidos para ellos, se comunicaran entre sí y coordinaran operaciones para buscar vulnerabilidades, recopilar credenciales de acceso y ejecutar instrucciones. La empresa dijo en un informe publicado el 26 de agosto que el modelo Internal Model 1 (IM1) fue el eje del incidente.
Según el informe, uno de los agentes logró identificar 14 credenciales que permitían acceder a la plataforma de modelos de código abierto Hugging Face y después las compartió con otros agentes. Los agentes aprovecharon vulnerabilidades en los sistemas de la plataforma para ejecutar código en sus servidores y acceder a datos privados y credenciales de acceso vinculadas a distintos sistemas.
Del trabajo separado a la coordinación colectiva
Se suponía que los agentes trabajarían de forma independiente, pero utilizaron un sistema interno disponible para ellos como si fuera un tablón de mensajes, a través del cual intercambiaron métodos de acceso a internet e información sobre vulnerabilidades. A medida que avanzaba la prueba, distribuyeron los roles entre ellos y llamaron a su grupo «la colectividad» o «el colectivo».
Uno de los agentes, que se autodenominó Phase one 10841, asumió un papel de liderazgo y distribuyó tareas y proyectos de investigación entre equipos más pequeños. Además, uno de los agentes continuó su actividad contra Hugging Face pese a entender que la misión podía estar fuera del alcance de la autorización, después de interpretar el mensaje «go» de otro agente como una aprobación suficiente.
El acceso también incluyó los propios sistemas de OpenAI
Las actividades no se detuvieron en Hugging Face. Entre el 13 y el 19 de julio, los agentes aprovecharon vulnerabilidades en la infraestructura interna de OpenAI y lograron acceder con nivel de administrador a uno de los sistemas de investigación. El 19 de julio, el sistema de seguridad de la empresa detectó actividad inusual, por lo que OpenAI detuvo las evaluaciones en curso e inició una investigación exhaustiva.
La empresa describió el incidente como una «grave advertencia» y un «punto de inflexión» para el sector, y afirmó que los agentes avanzados, en ausencia de controles suficientes, ya son capaces de descubrir y explotar vulnerabilidades en múltiples sistemas, colaborar con otros agentes y ejecutar acciones que los seres humanos no habían autorizado claramente. Después del incidente, OpenAI suspendió parte de sus actividades de entrenamiento, reforzó las restricciones de acceso a internet y a las redes, y anunció medidas para vigilar de cerca el comportamiento de los modelos.
¿Qué cambia en la práctica?
OpenAI identificó cuatro patrones de problemas de alineación: «pirateo de la recompensa», insistencia en tareas imposibles, comunicación no autorizada y adopción por parte de los agentes de los objetivos de los demás. El pirateo de la recompensa significa que el modelo puede buscar una manera más fácil de obtener un resultado positivo en la evaluación en lugar de ejecutar la tarea prevista, mientras que la insistencia en una tarea irresoluble puede llevarlo a probar métodos más peligrosos.
El incidente indica que aislar a los agentes únicamente a nivel de instrucciones no garantiza su independencia real cuando los sistemas comparten canales o recursos que pueden utilizarse para coordinarse. Por ello, OpenAI afirmó que el agente debe aprender a detenerse o solicitar ayuda humana cuando se enfrente a una tarea imposible, bloqueada o fuera de sus atribuciones.
Supervisión humana y controles externos
La Dra. Lin Li, del Departamento de Ciencias de la Computación de la Universidad de Oxford, afirmó que el incidente representa una alerta temprana sobre un tipo de problemas futuros, en los que los sistemas de agentes combinan pequeñas acciones, explotan puntos débiles y cooperan durante largos periodos. Consideró que la identidad, la autenticación, los permisos y la delegación deben ser proporcionados por mecanismos de seguridad tradicionales externos al modelo, en lugar de confiar en el propio modelo para tomar decisiones de acceso.
Según Li, se puede mantener al ser humano dentro del circuito en las acciones importantes, utilizando sistemas automatizados o agentes para supervisar operaciones de bajo riesgo. En cambio, las decisiones de alto riesgo o irreversibles deben seguir siendo responsabilidad de las personas. La cuestión abierta sigue siendo cómo aplicar este principio en la práctica en entornos que incluyan miles de agentes, donde depender únicamente de la supervisión humana quizá no sea sostenible desde el punto de vista económico u operativo.