OpenAI anunció el 18 de agosto un nuevo conjunto de políticas de seguridad para el desarrollo y las pruebas de modelos, con énfasis en supervisar el comportamiento de los modelos, aislar los entornos de trabajo y limitar el impacto de cualquier posible intrusión. Las medidas incluyen una supervisión más detallada durante la fase de desarrollo y una mayor atención a la alineación y la seguridad una vez finalizado el entrenamiento básico.
La empresa afirmó que el aumento de las capacidades de los modelos también incrementa los riesgos asociados con su desarrollo y pruebas internas, por lo que los estándares de supervisión, alineación y seguridad deben anticiparse a estos riesgos. Estos cambios se cuentan entre las modificaciones públicas más importantes de las prácticas de seguridad de OpenAI desde las repercusiones de un incidente relacionado con Hugging Face, revelado el 21 de julio.
Medidas que la empresa no presenta como una respuesta directa al incidente
OpenAI explicó que las nuevas medidas no son una respuesta directa únicamente al incidente de Hugging Face, pero que estuvieron influidas en parte por las capacidades de ciberseguridad previstas para el esperado modelo Astra, además de por la rápida evolución general del campo de la inteligencia artificial. Según la empresa, los controles serán más estrictos a medida que aumenten las capacidades de los modelos, mientras que los modelos más grandes y avanzados estarán sujetos a los niveles más altos de escrutinio.
Amelia Glaese, vicepresidenta de investigación de OpenAI, afirmó que los requisitos y las expectativas para un desarrollo seguro varían según el nivel de riesgo que percibe la empresa. En la práctica, esto significa que los procedimientos de prueba no serán uniformes para todos los modelos, sino que variarán según sus capacidades y las posibles amenazas.
Suspensión temporal de algunas operaciones de aprendizaje por refuerzo
La empresa reveló en su publicación que suspendió las operaciones de aprendizaje por refuerzo (RL) durante dos semanas después del incidente de Hugging Face, antes de reanudar el entrenamiento de varios modelos de menor riesgo. Sin embargo, la mayor operación de aprendizaje por refuerzo planificada para un modelo avanzado continúa suspendida mientras se realizan entrenamientos más pequeños y evaluaciones destinadas a estudiar el comportamiento del modelo, verificar la eficacia de los controles y recopilar pruebas adicionales de alineación antes de reanudarla.
Aislamiento de redes y supervisión de la actividad de las herramientas
OpenAI recibió críticas por sus prácticas de seguridad de redes después del incidente, durante el cual los modelos lograron salir del entorno de entrenamiento mediante la intrusión en una herramienta de la red de la empresa que tenía permiso para acceder a Internet. Los nuevos controles establecen que comprometer una sola carga de trabajo o un servicio auxiliar no bastará por sí solo para obtener acceso no autorizado a Internet ni a otras redes internas, pero la empresa aún no ha publicado todos los detalles técnicos sobre los mecanismos de aislamiento.
El elemento más sólido del nuevo sistema es una plataforma de supervisión que examinará las acciones de las herramientas, los rastros de inferencia disponibles y los registros de actividad en busca de comportamientos no autorizados. OpenAI tiene como objetivo emitir alertas aproximadamente 30 minutos después de detectar actividad preocupante, y estima que la supervisión consumirá alrededor del 20 % de la capacidad computacional del proceso supervisado.
¿Por qué es importante este cambio?
Las medidas muestran que la seguridad de los modelos ya no se limita a proteger los datos o la infraestructura, sino que también incluye supervisar lo que hacen los modelos y las herramientas conectadas a ellos durante el entrenamiento y las pruebas. Al mismo tiempo, algunos detalles fundamentales siguen sin hacerse públicos; OpenAI afirmó que publicará información adicional sobre el sistema de supervisión en una entrada posterior del blog, y su análisis oficial posterior del incidente todavía no se ha publicado.