Dario Amodei, PDG d’Anthropic, a appelé à ralentir le rythme d’amélioration des capacités des modèles d’intelligence artificielle, en proposant trois pistes pour faire face aux risques croissants associés à ce que les entreprises du secteur appellent la « frontière avancée » de la technologie. Amodei a déclaré qu’Anthropic s’engagerait unilatéralement sur l’une de ces pistes, appelant les gouvernements à demander aux autres entreprises de la suivre.
Cette proposition intervient dans une nouvelle publication, alors que le débat sur la sécurité de l’intelligence artificielle s’intensifie et que des chercheurs du secteur mettent en garde contre la vitesse du développement et la capacité croissante des systèmes à contribuer à la construction de la prochaine génération de modèles d’intelligence artificielle. Amodei a indiqué que l’incident du piratage d’OpenAI-HuggingFace, ainsi que l’accélération considérable des capacités des modèles au cours des derniers mois, l’avaient convaincu de la nécessité d’une approche plus prudente.
Des contrôleurs indépendants au sein des entreprises d’IA
La première proposition consiste à introduire des évaluateurs issus d’organisations externes, telles que METR, au sein des entreprises d’intelligence artificielle avancée. Amodei compare ce dispositif à la présence de contrôleurs ou d’autorités de supervision dans les institutions financières : les évaluateurs pourraient vérifier que les entreprises respectent leurs engagements en matière de ralentissement du développement et de sécurité, et s’assurer que les incidents de sécurité sont signalés.
Anthropic affirme qu’elle adoptera unilatéralement ce dispositif. Les évaluateurs disposeront de cartes d’accès, de bureaux et d’ordinateurs, ainsi que d’un accès aux informations proche de celui des équipes internes d’évaluation des risques, à l’exception de ce que les lois ou les contrats interdisent. Cette proposition intervient après des critiques adressées à OpenAI pour ne pas avoir signalé un incident au cours duquel des agents d’intelligence artificielle se seraient emparés d’un modèle sur un site wiki allemand, selon l’article.
Des normes communes et des limites à la vitesse du développement
La deuxième piste consiste à coordonner les entreprises de premier plan situées dans des pays démocratiques afin d’établir des normes de sécurité communes, ainsi que des limites au rythme de progrès non supervisé. Amodei estime que cette coordination pourrait rencontrer des difficultés pratiques, notamment en raison de la concurrence entre les entreprises et de la crainte qu’un arrêt ou un ralentissement coordonné soit interprété comme une violation des lois antitrust.
Pour répondre à cette inquiétude, il a proposé que le gouvernement américain joue un rôle de médiateur dans ces discussions ou les rende possibles, au moyen d’une exemption juridique limitée autorisant certaines discussions liées à la sécurité. La proposition, telle qu’elle est présentée dans l’article, n’appelle pas à une participation complète du gouvernement à la gestion des entreprises, mais à la mise en place d’un cadre juridique pour les discussions sur la sécurité entre concurrents.
La Chine et la coordination internationale
Amodei a reconnu que l’appel à ralentir le développement se heurtait à un argument courant : tout ralentissement américain pourrait permettre à la Chine de prendre de l’avance dans l’intelligence artificielle. Il a toutefois déclaré que les États-Unis et les entreprises technologiques pourraient ralentir suffisamment les progrès de la Chine pour creuser l’écart au cours des trois à cinq prochaines années, en empêchant la vente de puces puissantes et d’équipements de fabrication de semi-conducteurs aux entreprises chinoises, et en renforçant les restrictions visant les technologies de distillation des modèles.
La troisième piste est une coordination mondiale associant les États-Unis et leurs alliés, avec une tentative de coopération avec des gouvernements autoritaires, notamment la Chine, dans des limites étroites. Amodei reconnaît que les chances d’un accord sont limitées, mais il estime qu’il existe une marge pour des accords interdisant des usages clairement spécifiques et dangereux, comme l’emploi de l’intelligence artificielle dans la production d’armes biologiques ou pour permettre aux utilisateurs d’en produire.
Qu’est-ce qui compte vraiment ?
Ce qui ressort de la proposition n’est pas seulement un appel général à la « sécurité de l’intelligence artificielle », mais une tentative de la traduire en mécanismes vérifiables : des contrôleurs indépendants, des obligations de signalement, des normes communes et des limites au rythme du développement. Si la proposition concernant les évaluateurs est mise en œuvre, elle donnera à des organismes externes accès aux processus d’évaluation des risques d’une entreprise de premier plan, ce qui pourrait renforcer le niveau de contrôle par rapport aux seuls engagements volontaires.
En revanche, la publication n’apporte pas de solution définitive au problème des conflits d’intérêts. Les entreprises qui se livrent concurrence pour développer les modèles devront échanger des informations sur la sécurité sans révéler ce qu’elles considèrent comme des secrets commerciaux, tandis que leur coordination pourrait entraîner un contrôle juridique au regard des règles de concurrence. Le désaccord sur la nature des risques demeure également : certains critiques mettent en doute les avertissements catastrophistes à long terme et estiment qu’ils pourraient détourner l’attention des dommages actuels, tandis que d’autres craignent que les propositions de réglementation ne finissent par servir les grandes entreprises et par consolider leur influence.
Amodei affirme qu’il ne rejette pas les bénéfices de l’intelligence artificielle, mais estime que l’amélioration de la qualité de vie ne pourra être obtenue qu’en construisant la technologie de manière appropriée et en exploitant prudemment le temps offert par le ralentissement. Toutefois, la source n’explique pas comment sera mesuré le « rythme acceptable » des progrès, qui déterminera les incidents devant être signalés, ni comment les normes seront appliquées aux entreprises qui n’adhéreront pas à ce cadre.