A Anthropic anunciou o início da implementação de um modelo de supervisão independente que concede a seis funcionários da organização METR acesso semelhante ao dos funcionários da empresa a dispositivos, espaços de escritório, ferramentas e sistemas internos necessários para avaliar os riscos de modelos avançados de inteligência artificial. A empresa afirma que a METR publicará os resultados de suas avaliações sobre níveis de risco, incidentes e práticas, sem que a Anthropic tenha direito de veto à publicação.
A medida ocorre após a Anthropic se comprometer, no mês passado, a fortalecer a avaliação independente por terceiros e depois de assinar o «Acordo da Casa Branca sobre inteligência artificial superavançada», que inclui o compromisso das empresas de cooperar com auditores ou avaliadores externos independentes. No ano passado, a Anthropic trabalhou com a METR em várias revisões de seus relatórios de riscos, enquanto também colabora com a SecureBio, a Accenture e a Faculty, além de manter discussões iniciais com outras entidades, entre elas a Hugging Face.
O que significa o acesso semelhante ao dos funcionários?
Segundo a Anthropic, os funcionários são incentivados a compartilhar informações com a equipe da METR da mesma forma que as compartilhariam com um colega que trabalhasse com riscos de alinhamento. Isso inclui um acesso próximo ao concedido às equipes internas de avaliação de riscos, com exceção de categorias específicas, como dados de clientes, informações protegidas pelo sigilo entre advogado e cliente e algumas informações relacionadas à arquitetura dos modelos.
A Anthropic não pode impedir a METR de publicar suas observações ou avaliações, mas pode solicitar a remoção de informações incluídas em categorias restritas e previamente definidas. Em contrapartida, a METR pode descrever publicamente os processos de remoção e informar se os considera justificados, sem revelar as informações removidas. A participação também está limitada a uma pequena equipe que trabalha sob acordos juridicamente aplicáveis, mantendo os demais funcionários da METR afastados dessa tarefa.
Três níveis de avaliação independente
A Anthropic está criando um modelo de três níveis para parcerias com avaliadores:
- Primeiro nível: investigações de escopo limitado, cujo nível de acesso é definido pela Anthropic, e o resultado só é publicado com a aprovação da empresa.
- Segundo nível: acesso mais amplo e direito de publicação sem aprovação prévia, mantendo a Anthropic o direito de solicitar a remoção de determinadas categorias de informações.
- Terceiro nível: os acordos atuais com a METR, que incluem acesso semelhante ao dos funcionários e direitos de publicação semelhantes aos do segundo nível.
A SecureBio está atualmente revisando o capítulo sobre armas químicas e biológicas do relatório de riscos da Anthropic publicado em agosto, depois de concluir uma revisão experimental de um relatório anterior e publicar seus resultados. Já a parceria com a Accenture e a Faculty inclui avaliação e testes dos modelos por meio de red teaming, avaliações de alinhamento, testes dos mecanismos de proteção e desenvolvimento de capacidades conjuntas.
Por que essa mudança é importante?
A Anthropic reconhece que a empresa sabe mais sobre seus sistemas e riscos do que um observador externo pode saber, mas não pode publicar todos os detalhes devido a riscos de uso indevido ou à sensibilidade comercial, incluindo informações sobre computação e treinamento. Por isso, o modelo busca preencher a lacuna entre o que os avaliadores independentes conseguem ver e o que a empresa conhece internamente, dando aos avaliadores espaço efetivo para publicar suas conclusões.
Ainda assim, o experimento continua limitado a uma pequena equipe e a acordos de acesso e controles de confidencialidade, enquanto algumas das outras parcerias ainda estão em fases iniciais e têm direitos de publicação mais restritos. A eficácia do modelo dependerá do grau de independência dos avaliadores, da extensão das informações disponíveis para eles e de sua capacidade prática de publicar resultados que sejam desfavoráveis à empresa — pontos que, segundo a Anthropic, ela ainda está aprendendo a estruturar.