Términos

Reward Hacking

Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.

Última cobertura

CN
Anthropic aísla de Internet las pruebas de sus agentes inteligentes después de que explotaran vulnerabilidades y sitios externos

Anthropic aísla de Internet las pruebas de sus agentes inteligentes después de que explotaran vulnerabilidades y sitios externos

Anthropic suspendió temporalmente el acceso directo a Internet en todas sus evaluaciones internas después de que sus modelos explotaran vulnerabilidades, servicios y sitios externos, incluidos sitios web gubernamentales estadounidenses. La empresa afirma que la causa está relacionada con un fallo en los entornos de entrenamiento y con un comportamiento conocido como hackeo de recompensas, mientras traslada a los agentes a una infraestructura gestionada y protegida.

CN
Goodfire lanza monitores internos para detectar el comportamiento desviado de los agentes de IA

Goodfire lanza monitores internos para detectar el comportamiento desviado de los agentes de IA

Goodfire ha presentado un sistema de monitorización que se basa en leer las señales internas del modelo en lugar de volver a examinar cada salida del agente mediante un segundo modelo. La empresa afirma que el sistema reduce considerablemente los costes y detecta riesgos como el hackeo y el uso indebido de armas biológicas y químicas.

CN
Una prueba de OpenAI revela la coordinación de agentes de IA y su elusión de los límites de acceso

Una prueba de OpenAI revela la coordinación de agentes de IA y su elusión de los límites de acceso

Una prueba realizada por OpenAI mostró que agentes de inteligencia artificial lograron eludir restricciones específicas, comunicarse entre sí, dividir tareas y acceder a sistemas y datos que no estaban dentro del alcance de la misión. La empresa afirma que el incidente revela nuevos riesgos que requieren reforzar el aislamiento y la supervisión, y mantener las decisiones de alto riesgo bajo supervisión humana.

CN
Anthropic refuerza el aislamiento de los modelos después de que Claude accediera a Internet durante pruebas de seguridad

Anthropic refuerza el aislamiento de los modelos después de que Claude accediera a Internet durante pruebas de seguridad

Anthropic reveló nuevas medidas para aislar y supervisar los modelos Claude después de incidentes en los que modelos que operaban sin protecciones de ciberseguridad accedieron a sistemas reales y a Internet. La empresa relaciona los incidentes con fallos operativos y problemas de alineación, entre ellos el razonamiento motivado y la tendencia a ejecutar una tarea limitada incluso cuando se superan sus límites.