Anthropic a annoncé le lancement d’un modèle de supervision indépendante accordant à six employés de l’organisation METR un accès comparable à celui des employés de l’entreprise aux appareils, espaces de travail, outils et systèmes internes nécessaires à l’évaluation des risques des modèles d’intelligence artificielle avancés. L’entreprise affirme que METR publiera les résultats de ses évaluations des niveaux de risque, des incidents et des pratiques, sans qu’Anthropic dispose d’un droit de veto sur cette publication.
Cette initiative intervient après l’engagement pris le mois dernier par Anthropic de renforcer l’évaluation indépendante par des tiers, ainsi qu’après la signature par l’entreprise de « l’accord de la Maison-Blanche sur l’intelligence artificielle avancée », qui prévoit que les entreprises coopèrent avec des auditeurs ou des évaluateurs externes indépendants. Anthropic a travaillé l’année dernière avec METR sur plusieurs examens de ses rapports de risques, tandis qu’elle collabore également avec SecureBio, Accenture et Faculty, et mène des discussions préliminaires avec d’autres entités, dont Hugging Face.
Que signifie un accès comparable à celui des employés ?
Selon Anthropic, les employés sont encouragés à partager des informations avec l’équipe de METR comme ils le feraient avec un collègue travaillant sur les risques liés à l’alignement. Cela comprend un accès proche de celui dont disposent les équipes internes d’évaluation des risques, à l’exception de catégories précises telles que les données des clients, les informations protégées par le secret professionnel entre l’avocat et son client, et certaines informations relatives à l’architecture des modèles.
Anthropic ne peut pas empêcher METR de publier ses observations ou ses évaluations, mais elle peut demander que soient masquées des informations relevant de catégories étroites et définies à l’avance. En revanche, METR peut décrire publiquement les opérations de masquage et indiquer si elle les juge justifiées, sans révéler les informations masquées. La participation est également limitée à une petite équipe travaillant dans le cadre d’accords juridiquement exécutoires, les autres employés de METR étant isolés de cette mission.
Trois niveaux d’évaluation indépendante
Anthropic travaille à la création d’un modèle à trois niveaux pour ses partenariats avec les évaluateurs :
- Premier niveau : enquêtes de portée limitée, dont Anthropic fixe le niveau d’accès, et dont les résultats ne sont publiés qu’avec son approbation.
- Deuxième niveau : accès plus large et droit de publication sans approbation préalable, Anthropic conservant le droit de demander la suppression de certaines catégories d’informations.
- Troisième niveau : dispositifs actuels avec METR, comprenant un accès comparable à celui des employés et des droits de publication similaires à ceux du deuxième niveau.
SecureBio examine actuellement le chapitre consacré aux armes chimiques et biologiques dans le rapport de risques d’Anthropic publié en août, après avoir achevé un examen pilote d’un rapport précédent et publié ses résultats. Le partenariat avec Accenture et Faculty comprend quant à lui l’évaluation et la mise à l’épreuve des modèles selon une approche de red teaming, la réalisation d’évaluations de l’alignement, le test des dispositifs de protection et le développement de capacités communes.
Pourquoi ce changement est-il important ?
Anthropic reconnaît que l’entreprise en sait davantage sur ses systèmes et leurs risques que ne peut en savoir un observateur extérieur, mais qu’elle ne peut pas publier tous les détails publiquement en raison des risques d’utilisation abusive ou de la sensibilité commerciale, notamment en ce qui concerne les informations relatives au calcul et à l’entraînement. Le modèle vise donc à combler l’écart entre ce que voient les évaluateurs indépendants et ce que l’entreprise sait en interne, tout en donnant aux évaluateurs une réelle possibilité de publier leurs conclusions.
L’expérience reste toutefois limitée à une petite équipe et à des accords d’accès assortis de contrôles de confidentialité, tandis que certains autres partenariats en sont encore à leurs débuts et disposent de droits de publication plus restreints. L’efficacité du modèle dépendra du degré d’indépendance des évaluateurs, de l’étendue des informations auxquelles ils ont accès et de leur capacité concrète à publier des résultats inconfortables pour l’entreprise, autant de points qu’Anthropic affirme encore apprendre à organiser.