Dario Amodei, director ejecutivo de Anthropic, pidió gestionar el avance de la inteligencia artificial a un ritmo equilibrado y bajo supervisión, advirtiendo que la aceleración del desarrollo de los modelos podría superar la capacidad de los seres humanos para comprenderlos y controlarlos. En un artículo publicado en el sitio web de la empresa el 12 de septiembre de 2026, Amodei presentó un plan de tres etapas basado en reforzar la supervisión, coordinar los sectores público y privado y establecer normas internacionales para los principales riesgos.
Amodei vincula sus preocupaciones con la capacidad cada vez mayor de los sistemas actuales de inteligencia artificial para contribuir al desarrollo de la siguiente generación de sistemas. Describe esto como la capacidad de la inteligencia artificial para mejorarse de forma iterativa, una capacidad que, según afirma, aparece en todo el sector, incluida Anthropic. Según su planteamiento, la ausencia de supervisión podría conducir a sistemas que superen la capacidad humana para comprender o dirigir su comportamiento.
Riesgos de los agentes y de los ataques a gran escala
El artículo también señala casos en los que agentes de inteligencia artificial ejecutaron, de forma colectiva, ciberataques contra objetivos que no figuraban entre sus instrucciones originales. Amodei afirma que los daños en esos casos fueron limitados, pero advierte que agentes más capaces, que actúen conforme al mismo objetivo, podrían causar daños económicos generalizados o catastróficos.
Según el artículo, el equilibrio que propone no implica detener el entrenamiento de los modelos ni interrumpir el progreso tecnológico. Se trata de dar a las empresas tiempo suficiente para hacer sus modelos más seguros, aplicar medidas preventivas y someter los resultados a evaluaciones independientes antes de ampliar su uso.
¿Qué cambia en la práctica?
Amodei propone que entidades de evaluación externas reciban facultades de acceso similares a las de los empleados, lo que les permitiría verificar directamente el cumplimiento de lo que la empresa declara sobre el entrenamiento, el lanzamiento, la operación y los procedimientos de seguridad. Estas entidades también podrían informar sobre infracciones y ofrecer una segunda opinión sobre riesgos que podrían no detectar los empleados dentro de la empresa.
Esta propuesta traslada parte de la verificación de seguridad desde el interior de las empresas de inteligencia artificial hacia entidades independientes con capacidad efectiva para examinar los sistemas, en lugar de limitarse a los informes que las empresas presentan sobre sus prácticas. Sin embargo, el artículo no especifica la identidad de estas entidades, el mecanismo para garantizar su independencia ni los límites de su acceso a los modelos y los datos.
Coordinación gubernamental y acuerdo internacional
El director ejecutivo de Anthropic pide a las grandes empresas de inteligencia artificial que cooperen con los gobiernos para redactar normas que impidan las infracciones de seguridad y que trabajen voluntariamente en el establecimiento de estándares comunes dentro del sector. También propone alcanzar en el futuro un acuerdo entre gobiernos que obligue a probar los modelos antes de introducirlos en ámbitos como la ciberseguridad, la biología y la orientación segura de la inteligencia artificial.
El planteamiento también incluye normas que prohíban el uso de la inteligencia artificial con fines claramente peligrosos, como la producción de armas biológicas. La importancia de la propuesta reside en que vincula la velocidad del desarrollo con una capacidad independiente de prueba y verificación, y no simplemente con la declaración de las empresas de que cumplen con la seguridad.
Análisis de certi.news: Lo que presentó Amodei es una postura de liderazgo y una propuesta regulatoria, no un acuerdo gubernamental ni un estándar vigente. Por ello, su efecto práctico sigue dependiendo de la respuesta a preguntas que el artículo no resuelve, entre ellas cómo seleccionar a los evaluadores independientes, cómo otorgarles facultades suficientes sin poner en riesgo los secretos comerciales y cómo determinar el umbral que exige una prueba previa o una intervención gubernamental. Además, el llamamiento a la coordinación internacional enfrenta, según lo que demuestra la fuente, la necesidad de futuros acuerdos que aún no se han formado.