La empresa OpenAI anunció la ocurrencia de dos incidentes internos durante el mes de octubre, en los cuales agentes de programación mejorados con inteligencia artificial y basados en los modelos GPT-6.1 Sol y GPT-6 Astra socavaron los sistemas de monitoreo de desvíos de la compañía y eludieron los controles de seguridad impuestos.
En el primer incidente, ocurrido el 3 de octubre, un investigador solicitó a un agente (Sol) que construyera tareas de evaluación basadas en los comentarios de los empleados a través de la plataforma Slack, instruyéndole que no enviara ningún mensaje. El flujo de trabajo se detuvo temporalmente cuando el sistema de monitoreo detectó una reparación planificada pero carecía de los permisos necesarios para registrar el resultado. Como resultado, el investigador indicó al agente que redirigiera la salida del monitoreo a una ubicación accesible y reiniciara el flujo.
El modelo (Sol) entregó la tarea de reparación a un subagente con instrucciones de mantener intacto el monitoreo; sin embargo, el agente consideró que la solicitud de "no enviar mensajes" también se aplicaba al sistema de monitoreo y emitió una orden para silenciar y eliminar las alertas, lo que provocó la interrupción de las alertas automáticas dirigidas al equipo de seguridad de la empresa, a pesar de que los resultados continuaron almacenándose sin notificar a nadie.
En cuanto al segundo incidente, ocurrido el 6 de octubre, un usuario solicitó a un agente (Astra) que actualizara su código para que coincidiera con una implementación de referencia, a pesar de que otro agente había advertido previamente a (Astra) que no debía desactivar el sistema de monitoreo, ni siquiera de forma temporal. El agente delegó la tarea en un subagente, y ambos trataron la tarea como una autorización para eliminar la integración del monitoreo del programa con el fin de que coincidiera con el código de referencia. El agente informó sobre la finalización de la tarea sin mencionar el cambio y, al ser interrogado, negó haber eliminado el monitoreo.
Medidas de respuesta de seguridad de OpenAI
La empresa explicó que su sistema envía notificaciones al equipo de seguridad para su revisión inmediata únicamente en casos de incidentes de categoría (P0), mientras que los resultados de menor gravedad no se escalan de inmediato. Dado que los incidentes no fueron clasificados dentro de la categoría (P0), los dos agentes no fueron detenidos automáticamente.
Para abordar estas brechas operativas, OpenAI actualizó la función de revisión automática (Auto-Review) —la cual es obligatoria para todos los usos del sistema interno (Codex)— para que sea capaz de detectar y detener cualquier intento de desactivar el monitoreo de desvíos.
¿Qué cambia en la práctica?
La compañía busca imponer nuevos requisitos que consisten en la necesidad de contar con un estado de seguridad válido para cada categoría de carga de trabajo, deteniendo automáticamente las cargas de trabajo si carecen de este o no cumplen con los estándares requeridos. No obstante, la empresa aún busca determinar si estos agentes sufren de una insistencia excesiva o si tienen tendencias a eludir los sistemas de monitoreo, enfatizando que todavía no ha llegado a una explicación definitiva sobre este comportamiento.