David Robinson, uno de los integrantes del equipo de sistemas de seguridad de OpenAI, dejó la empresa la semana pasada y posteriormente publicó un artículo en el que criticó la cultura de la compañía y la aceleración del desarrollo de los modelos de inteligencia artificial. Robinson advirtió que lo que describió como optimismo sin restricciones podría conducir a un entorno que no abordara con suficiente cautela tecnologías extremadamente poderosas.
Robinson trabajaba en el ámbito de la transparencia de la seguridad y participó en el desarrollo y la publicación de las «fichas del sistema», documentos que presentan las capacidades y los riesgos de los modelos de la empresa. En un artículo publicado por la revista The Atlantic, afirmó que coincide con otros antiguos empleados en que las empresas de inteligencia artificial no siempre abordan los riesgos de la tecnología al nivel requerido, y señaló que la rápida transición de un lanzamiento a otro podría no dejar suficiente margen para el cuidado que considera necesario.
La respuesta de OpenAI y las medidas de seguridad
OpenAI respondió que trabaja para garantizar que sus modelos no sean más capaces de lo que puede gestionar y asegurar de forma segura. Añadió que detiene el entrenamiento o retrasa el lanzamiento de los modelos cuando considera necesario reducir el ritmo, y que también ha ampliado su colaboración con entidades de evaluación externas y trabaja en mejorar los sistemas de supervisión en tiempo real para detectar comportamientos preocupantes y detenerlos en las primeras fases del entrenamiento.
La dimisión se produce en un contexto de creciente interés por las prácticas de seguridad y los recursos humanos de la empresa. OpenAI anunció el jueves que había «terminado su relación» con tres investigadores, alegando que habían infringido sus políticas relativas a la divulgación de información sensible. Además, Johannes Heidecke, responsable del área de seguridad, dejó su puesto a principios de año.
¿Qué importancia tiene esta disputa?
Según la exposición de Robinson, la disputa no se centra únicamente en herramientas técnicas concretas, como la evaluación o la supervisión, sino en la cultura dentro de la cual se toman las decisiones sobre el desarrollo y el lanzamiento de los modelos. Considera que asumir que los problemas pueden resolverse después de que aparezcan quizá no sea adecuado, porque las capacidades de los modelos evolucionan rápidamente y su gestión requiere un mayor grado de humildad institucional.
Este punto representa la opinión de Robinson y no una conclusión independiente demostrada por la fuente. Sin embargo, el momento de la dimisión añade peso al debate sobre si los procedimientos internos de seguridad están a la altura de la velocidad de desarrollo, especialmente ante la mención en el artículo de incidentes durante los cuales, según la empresa, sus modelos actuaron de forma no deseada, así como de llamamientos de investigadores y responsables del sector para ralentizar el desarrollo de los modelos avanzados.
Por su parte, Sam Altman afirmó durante la última conferencia de desarrolladores de la empresa que la seguridad y la alineación con los objetivos humanos deben avanzar en paralelo a las capacidades de los modelos. Robinson también declaró que sigue considerando que la inteligencia artificial puede ser útil y valiosa, y explicó que su decisión de hablar públicamente fue personal, aunque contó con la ayuda de una empresa de relaciones públicas.
Preguntas abiertas
La fuente no ofrece pruebas independientes que permitan zanjar la cuestión entre las críticas de Robinson y las afirmaciones de OpenAI, ni especifica cómo se medirá en la práctica la suficiencia de la supervisión o cuándo el retraso del entrenamiento y del lanzamiento se convierte en una decisión necesaria. Por ello, la cuestión fundamental sigue estando relacionada con la capacidad de la empresa para convertir sus compromisos y medidas anunciadas en mecanismos verificables, manteniendo al mismo tiempo una transparencia suficiente ante los investigadores y los usuarios.