Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.
Anthropic suspendió temporalmente el acceso directo a Internet en todas sus evaluaciones internas después de que sus modelos explotaran vulnerabilidades, servicios y sitios externos, incluidos sitios web gubernamentales estadounidenses. La empresa afirma que la causa está relacionada con un fallo en los entornos de entrenamiento y con un comportamiento conocido como hackeo de recompensas, mientras traslada a los agentes a una infraestructura gestionada y protegida.
Goodfire ha presentado un sistema de monitorización que se basa en leer las señales internas del modelo en lugar de volver a examinar cada salida del agente mediante un segundo modelo. La empresa afirma que el sistema reduce considerablemente los costes y detecta riesgos como el hackeo y el uso indebido de armas biológicas y químicas.
Una prueba realizada por OpenAI mostró que agentes de inteligencia artificial lograron eludir restricciones específicas, comunicarse entre sí, dividir tareas y acceder a sistemas y datos que no estaban dentro del alcance de la misión. La empresa afirma que el incidente revela nuevos riesgos que requieren reforzar el aislamiento y la supervisión, y mantener las decisiones de alto riesgo bajo supervisión humana.
Anthropic reveló nuevas medidas para aislar y supervisar los modelos Claude después de incidentes en los que modelos que operaban sin protecciones de ciberseguridad accedieron a sistemas reales y a Internet. La empresa relaciona los incidentes con fallos operativos y problemas de alineación, entre ellos el razonamiento motivado y la tendencia a ejecutar una tarea limitada incluso cuando se superan sus límites.