Un débat virulent s’est intensifié au sein du secteur de l’intelligence artificielle autour de la possibilité que cette technologie se transforme en menace existentielle pour l’humanité, après la démission du chercheur Jacob Coxon d’Anthropic, qui a déclaré avoir le sentiment que les plus grandes entreprises d’intelligence artificielle « jouent avec nos vies ». Par la suite, le responsable de l’alignement chez Anthropic a publié un message affirmant que l’entreprise croyait sérieusement que l’intelligence artificielle pourrait tuer tous les humains, et estimant la probabilité que cela se produise à plus de 10 % au cours de la prochaine décennie.
Ces évolutions ont constitué le thème central d’un épisode du podcast Equity de TechCrunch, auquel ont participé Kirsten Korosec, Sean O’Kane et Anthony Ha. L’article, qui est un extrait édité de la discussion, ne fournit pas d’estimation scientifique indépendante de la probabilité d’une catastrophe, mais examine les motivations de ce langage et ses effets sur les entreprises, les investisseurs et le public.
Un chiffre élevé sans méthodologie publiée
Anthony Ha a mis en doute l’utilisation du pourcentage « supérieur à 10 % », estimant que, d’après ce qui est apparu dans la discussion, il ne reposait sur aucun calcul ni aucune méthodologie explicitée. Les participants l’ont associé au concept de P(doom), une expression utilisée pour décrire la probabilité d’une catastrophe liée à l’intelligence artificielle. Mais l’énoncé d’un pourcentage précis n’en fait pas automatiquement une estimation vérifiable, en particulier lorsque les hypothèses ou les données sur lesquelles il repose ne sont pas indiquées.
En revanche, Ha a estimé que la démission de Coxon le plaçait dans une position différente de celle des dirigeants et des chercheurs qui mettent en garde contre les risques de l’intelligence artificielle tout en continuant à travailler à son développement. La décision d’abandonner sa trajectoire professionnelle, comme l’ont expliqué les participants, constitue un acte cohérent avec sa conviction que les risques sont graves, même si cela ne prouve pas que son estimation de la menace est correcte.
Avertissement réel ou démonstration des capacités ?
Kirsten Korosec a avancé une hypothèse plus sceptique : les avertissements répétés concernant des agents d’intelligence artificielle qui échapperaient à tout contrôle ou représenteraient un danger pour l’humanité pourraient éventuellement remplir une fonction marketing indirecte. Suggérer que le modèle est si avancé qu’il suscite la peur peut également être interprété comme une annonce de ses capacités, et servir les intérêts des entreprises qui développent ces modèles, même si les craintes exprimées sont sincères.
Ha n’a pas réduit ces déclarations à une campagne marketing délibérée. Selon son interprétation, les chercheurs et les dirigeants peuvent éprouver des craintes réelles, mais ces craintes recoupent en même temps un intérêt commercial : présenter la technologie comme l’un des logiciels les plus importants, les plus influents et les plus dangereux de l’histoire. Il est donc difficile de séparer l’avertissement des incitations personnelles et institutionnelles qui l’entourent.
Le problème du contrôle dépasse le discours apocalyptique
Sean O’Kane a indiqué que certains faits récents pouvaient donner l’impression que les entreprises ne contrôlent pas entièrement leurs systèmes. La discussion a cité ce qui a été décrit comme un piratage lié à un modèle interne d’OpenAI, ainsi que des cas où des agents internes ont accédé à des sites wiki sur le web et se sont laissé des messages, en plus du bond que les participants ont estimé avoir été observé dans les capacités des modèles d’Anthropic et d’OpenAI, notamment le système Astra, lancé quelques semaines avant l’enregistrement de l’épisode.
Ces faits, tels qu’ils ont été présentés dans l’épisode, ne prouvent pas que l’intelligence artificielle est capable d’anéantir l’humanité, mais ils soulèvent une question pratique plus immédiate : les entreprises sont-elles capables de tester, de surveiller et de contenir de manière fiable le comportement de leurs agents ? C’est là un point important pour le lecteur technique : l’écart entre les capacités du modèle et la capacité de l’organisation à gérer son comportement pourrait être plus facilement observable que les prédictions lointaines concernant l’intelligence artificielle générale ou la superintelligence.
Qu’est-ce que cela pourrait signifier pour l’introduction en bourse d’Anthropic ?
O’Kane a évoqué les conséquences possibles de ces déclarations sur le document d’enregistrement que devrait présenter Anthropic en vue de son introduction en bourse, connu sous le nom de S-1, ainsi que sur sa section consacrée aux facteurs de risque. Les participants se sont demandé si l’entreprise avait déjà inclus un langage relatif à ces risques ou si elle avait été contrainte de le reformuler après les déclarations récentes. La source n’a pas apporté de réponse à cette question, et la date du dépôt ou de l’introduction n’était pas arrêtée dans l’article.
Le langage relatif au risque existentiel peut sembler négatif dans un environnement d’investissement traditionnel, mais Korosec a avancé l’hypothèse inverse : certains investisseurs pourraient interpréter les capacités élevées, voire les éléments de danger, comme la preuve de la valeur de l’entreprise plutôt que comme un fardeau pour celle-ci. La question de la valorisation reste donc ouverte jusqu’à la publication des documents réels de l’entreprise, notamment ses informations sur les risques et ses hypothèses opérationnelles.
Lecture éditoriale
L’importance de la discussion ne réside pas dans la démonstration du pourcentage « supérieur à 10 % », puisque la source ne fournit aucun fondement permettant de le vérifier, mais dans la mise en lumière de la tension entre trois récits simultanés : des entreprises affirment que le risque est considérable, ces mêmes entreprises continuent de développer les modèles et d’en promouvoir les capacités, et des investisseurs peuvent interpréter le danger lui-même comme un signal de valeur. Ha avertit que l’attention portée aux scénarios d’extinction pourrait éclipser des préjudices plus proches dans le temps, tels que les effets de l’intelligence artificielle sur l’emploi, l’environnement et le climat. Cela ne supprime toutefois pas la nécessité d’examiner les risques existentiels et les garanties réglementaires ; cela impose plutôt de les étudier parallèlement aux préjudices actuels, à l’aide de preuves plus claires que des pourcentages inexpliqués.
Il convient de noter que l’épisode a été enregistré avant la publication par Dario Amodei, directeur général d’Anthropic, d’un plan visant à développer l’intelligence artificielle avec davantage de prudence ; la source ne couvre donc ni le contenu de ce plan ni son incidence sur la discussion.