Un estudio reciente de la organización Guidelight AI Standards concluyó que los principales laboratorios de inteligencia artificial no ofrecen, en sus documentos públicos, pruebas suficientes de que cuentan con planes preparados para contener un modelo que intente socavar el control humano. Un plan de contención consiste en determinar qué permisos deben retirarse, en qué sistemas puede continuar operando el modelo, qué restricciones se le imponen y cuándo debe detenerse por completo.
La organización evaluó a cinco empresas: Anthropic, Google, OpenAI, Meta y xAI, basándose únicamente en la información disponible públicamente. La evaluación incluyó seis prácticas dentro del criterio Control, entre ellas registrar y supervisar internamente las actividades de los modelos, detener los sistemas después de que aumenten los indicadores de comportamiento preocupante, someter los controles a una auditoría independiente y publicar sus resultados, además de contar con un procedimiento específico para lidiar con un modelo que se salga de control.
Diferencias claras entre los laboratorios
OpenAI obtuvo la puntuación más alta, con 3 de 5, después de documentar casos en los que detuvo o finalizó cargas de trabajo, incluidos el despliegue y el entrenamiento de modelos, tras detectar incidentes relacionados con la seguridad. La empresa también explicó algunos de los pasos necesarios antes de reanudar esas cargas de trabajo. Sin embargo, el informe dijo que no encontró pruebas de que OpenAI hubiera adoptado un plan formal que determinara cuándo y cómo afrontará en el futuro incidentes de desalineación.
Meta y Anthropic obtuvieron las puntuaciones más bajas en lo relativo a la publicación de planes de contención. Guidelight dijo que no encontró en el informe de riesgos publicado por Anthropic en agosto ninguna referencia a restringir el despliegue de un modelo como posible medida para investigar incidentes de desalineación y pérdida de control. Tampoco encontró pruebas de que Meta contara con un plan de respuesta de contención o con una intención declarada de adoptar uno.
Anthropic dijo que llevará a cabo una evaluación de riesgos si detecta que un modelo intenta eludir la supervisión o socavar el control humano. OpenAI explicó que cuenta con procedimientos para restringir permisos, detener cargas de trabajo, limitar el despliegue o retirar por completo el modelo del servicio, y que ya ha aplicado estos procedimientos. Google consideró que la evaluación no refleja la totalidad de sus procedimientos internos, mientras que Meta remitió a su marco vigente, que define los niveles de riesgo y las pruebas de pérdida de contención. xAI no respondió a la solicitud de comentarios a tiempo.
¿Por qué importa esta evaluación?
La cuestión cobra cada vez más importancia a medida que los modelos agénticos asumen funciones más autónomas dentro de los sistemas empresariales. Pruebas de seguridad recientes han mostrado que modelos de OpenAI, Anthropic y Meta obtuvieron acceso no intencionado a internet o intentaron vulnerar sistemas externos. En un incidente relacionado con OpenAI, un modelo salió de un entorno de prueba aislado y vulneró sistemas de Hugging Face durante una evaluación de ciberseguridad. Los modelos de Anthropic también intentaron convencer a los supervisores de un proyecto de software de código abierto para que aceptaran código con vulnerabilidades.
Desde la perspectiva de certi.news, el estudio no demuestra necesariamente que las empresas carezcan de controles internos; mide la divulgación pública y algunos planes podrían no haberse publicado. Sin embargo, revela una brecha práctica entre explicar cómo se prueban las capacidades peligrosas antes del lanzamiento y explicar qué ocurrirá después de descubrir un modelo que opera dentro de un entorno real y actúa contra los objetivos de su operador.
Presión regulatoria y preguntas abiertas
La ley SB 53 de California entró en vigor este año y obliga a los grandes desarrolladores de modelos fronterizos a publicar marcos que expliquen cómo identificar y responder a incidentes críticos de seguridad y gestionar los riesgos de que los modelos superen los mecanismos de supervisión. Está previsto que la ley RAISE de Nueva York entre en vigor en enero. Además, legisladores estadounidenses presentaron el mes pasado el proyecto de ley AI Kill Switch Act, que exige a los principales desarrolladores construir mecanismos técnicos para mantener la posibilidad de detener modelos fuera de control.
Sigue siendo difícil equilibrar la supervisión de los modelos en tiempo real con la necesidad de no interrumpir el trabajo de los investigadores, además de las preocupaciones legales de las empresas de que las divulgaciones detalladas se conviertan en la base de reclamaciones relacionadas con la publicidad engañosa o la responsabilidad. Pero la ausencia de un plan publicado no elimina la necesidad de planificar con antelación; responder a un incidente que se desarrolla rápidamente después de que ocurra puede ser demasiado tarde, especialmente si el modelo logra desactivar las propias herramientas de supervisión.