La empresa Anthropic anunció que detectó intentos de utilizar sus modelos de inteligencia artificial de una manera que podría apoyar el desarrollo de armas biológicas, según un informe sobre el uso indebido de estos modelos y las medidas que pueden adoptarse para limitarlo. La empresa sitúa lo que denomina uso indebido biológico entre los riesgos más graves relacionados con la evolución de las capacidades de la inteligencia artificial.
Según el informe, las preocupaciones se centran en la posibilidad de que los modelos avanzados ayuden a hacer más peligrosos patógenos existentes o contribuyan al desarrollo de nuevos patógenos. El texto publicado no presentó pruebas de la producción efectiva de un arma biológica, pero documentó casos que, según Anthropic, superaron suficientemente el uso habitual de investigación como para justificar medidas de precaución.
Ejemplos de usos detectados por la empresa
El informe indicó que un investigador que trabaja en una región con apoyo insuficiente utilizó Claude para ayudar a planificar experimentos relacionados con la adaptación de la gripe aviar a los mamíferos. En otro caso, el informe señaló que un investigador respaldado por un Estado utilizó el modelo para rediseñar toxinas en un entorno computacional.
Anthropic no acusó a las personas mencionadas en estos ejemplos de tener intenciones maliciosas y subrayó que sus decisiones se tomaron por precaución. La importancia de este punto reside en que la evaluación del riesgo, según la presentación del informe, no depende únicamente de la identidad del usuario o de su intención declarada, sino también de la naturaleza de la asistencia que el modelo puede ofrecer y de la posibilidad de que se utilice indebidamente.
¿Qué cambió en la práctica?
Después de descubrir estos casos, Anthropic afirmó que bloqueó las cuentas de los usuarios implicados y que también adoptó medidas adicionales para impedir este tipo de actividad de forma más eficaz en el futuro. El texto extraído no explica detalles técnicos sobre los mecanismos de detección, los criterios de bloqueo ni la forma de verificar los resultados, por lo que no es posible evaluar la precisión del sistema preventivo ni el alcance de su aplicación basándose únicamente en este material.
En la práctica, el anuncio refleja el traslado del debate desde la advertencia teórica sobre los riesgos biológicos de la inteligencia artificial hacia el tratamiento de intentos reales de uso que la empresa detectó dentro de sus servicios. Esto es relevante para los desarrolladores de modelos, los operadores de plataformas y las entidades de investigación, porque la prevención no se limita a bloquear respuestas concretas, sino que también requiere supervisar los patrones de uso y tomar decisiones sobre cuentas y actividades de alta sensibilidad.
Lectura de certi.news
El cambio más importante aquí no es el anuncio de una nueva capacidad del modelo, sino que Anthropic revelara casos que la llevaron a imponer restricciones a usuarios y actualizar sus medidas preventivas. El informe también plantea una pregunta que el material no responde con claridad: ¿cómo se puede distinguir entre la investigación legítima sobre patógenos y el uso que podría aumentar los riesgos de desarrollar un arma? Según la empresa, compartir los ejemplos pretende iniciar un diálogo dentro del sector de la inteligencia artificial sobre estos riesgos y las formas de afrontarlos, pero el texto disponible no ofrece detalles suficientes para juzgar la eficacia de las medidas ni su aplicabilidad en otras empresas.
El texto también incluye una referencia a la dimisión del antiguo investigador de Anthropic, Jacob Coxon, y a su advertencia sobre los riesgos de que los sistemas de inteligencia artificial adquieran un poder y unos recursos considerables. Sin embargo, esta referencia es independiente de los casos documentados por el informe y, por sí sola, no demuestra que exista una relación directa entre la dimisión y las medidas de bloqueo anunciadas por la empresa.