Anthropic anunció el inicio de un modelo de supervisión independiente que concede a seis empleados de la organización METR un acceso similar al de los empleados de la empresa a los dispositivos, espacios de oficina, herramientas y sistemas internos necesarios para evaluar los riesgos de los modelos avanzados de inteligencia artificial. La empresa afirma que METR publicará los resultados de sus evaluaciones sobre niveles de riesgo, incidentes y prácticas, sin que Anthropic tenga derecho de veto sobre la publicación.
La medida llega después de que Anthropic se comprometiera el mes pasado a reforzar la evaluación independiente por parte de terceros, y tras la firma del «Acuerdo de la Casa Blanca sobre la superinteligencia artificial», que incluye el compromiso de las empresas de colaborar con auditores o evaluadores externos independientes. Anthropic había trabajado durante el último año con METR en varias revisiones de sus informes de riesgos, mientras que también colabora con SecureBio, Accenture y Faculty, y mantiene conversaciones iniciales con otras entidades, entre ellas Hugging Face.
¿Qué significa el acceso similar al de los empleados?
Según Anthropic, se anima a los empleados a compartir información con el equipo de METR del mismo modo que la compartirían con un colega que trabajara en riesgos de alineación. Esto incluye un acceso parecido al que reciben los equipos internos de evaluación de riesgos, excepto en categorías específicas como los datos de clientes, la información protegida por el secreto profesional entre abogado y cliente y cierta información relacionada con la arquitectura de los modelos.
Anthropic no puede impedir que METR publique sus observaciones o evaluaciones, pero puede solicitar que se omita información incluida en categorías limitadas y definidas de antemano. A cambio, METR puede describir públicamente los procesos de omisión e indicar si los considera justificados, sin revelar la información omitida. Además, la participación está limitada a un equipo pequeño que trabaja bajo acuerdos jurídicamente exigibles, mientras que el resto de los empleados de METR queda separado de esta tarea.
Tres niveles para la evaluación independiente
Anthropic está creando un modelo de tres niveles para sus alianzas con evaluadores:
- Nivel uno: investigaciones de alcance limitado, cuyo nivel de acceso determina Anthropic, y cuyos resultados solo se publican con su aprobación.
- Nivel dos: un acceso más amplio y derecho a publicar sin aprobación previa, aunque Anthropic conserva el derecho a solicitar la eliminación de determinadas categorías de información.
- Nivel tres: los acuerdos actuales con METR, que incluyen un acceso similar al de los empleados y derechos de publicación parecidos a los del nivel dos.
SecureBio está revisando actualmente el capítulo sobre armas químicas y biológicas del informe de riesgos de Anthropic publicado en agosto, después de completar una revisión piloto de un informe anterior y publicar sus resultados. La alianza con Accenture y Faculty incluye la evaluación y las pruebas de los modelos mediante red teaming, la realización de evaluaciones de alineación, la prueba de medidas de protección y la creación de capacidades conjuntas.
¿Por qué es importante este cambio?
Anthropic reconoce que la empresa sabe más sobre sus sistemas y riesgos de lo que puede saber un observador externo, pero no puede publicar todos los detalles debido a los riesgos de uso indebido o a la sensibilidad comercial, incluida la información sobre computación y entrenamiento. Por ello, el modelo pretende cerrar la brecha entre lo que ven los evaluadores independientes y lo que la empresa conoce internamente, al tiempo que concede a los evaluadores un margen real para publicar sus conclusiones.
Con todo, el experimento sigue limitado a un equipo pequeño y a acuerdos de acceso y controles de confidencialidad, mientras que algunas de las demás alianzas aún se encuentran en fases tempranas y cuentan con derechos de publicación más restringidos. La eficacia del modelo dependerá del grado de independencia de los evaluadores, de la amplitud de la información a la que tengan acceso y de su capacidad práctica para publicar resultados incómodos para la empresa, aspectos que Anthropic afirma que todavía está aprendiendo a organizar.