La société d'intelligence artificielle « Anthropic » a révélé un indice marquant dans les détails de ses divulgations financières modifiées (S-1/A), avertissant qu'elle est sur le point de développer un modèle doté de capacités d'auto-amélioration récursive (RSI), le point où l'intelligence artificielle devient capable de s'entraîner et de se développer d'une manière qui pousse vers une accélération massive de ses capacités techniques.
Le concept d'auto-amélioration récursive est considéré dans les cercles de développeurs et de chercheurs comme une arme à double tranchant ; selon la perspective des optimistes, ce développement représente un outil prometteur pour accroître la productivité de la recherche et accélérer des découvertes scientifiques sans précédent, tandis qu'il suscite en contrepartie les craintes des chercheurs et des passionnés de sécurité technologique quant à la possibilité de perdre le contrôle humain sur des systèmes d'intelligence artificielle capables de construire des versions avancées d'eux-mêmes en dehors de toute surveillance.
Qu'est-ce qui a changé concrètement selon les divulgations ?
La société a expliqué dans la section des facteurs de risque de ses documents réglementaires qu'elle a déjà utilisé des systèmes d'intelligence artificielle pour accélérer les processus de recherche et développement, ce qui a parfois conduit à des bonds en avant dans les capacités que l'entreprise n'a pu suivre avec précision qu'ultérieurement. « Anthropic » a indiqué que ses estimations internes suggèrent la possibilité d'atteindre le seuil de « progrès dramatiquement accéléré lié à l'intelligence artificielle » défini dans sa politique de mise à l'échelle responsable (Responsible Scaling Policy).
Malgré ces avertissements, la société a affirmé qu'aucun de ses modèles actuels n'a encore franchi ce seuil, soulignant son engagement à maintenir l'élément humain au cœur des processus de recherche et développement dans un avenir prévisible. Elle a précisé qu'elle étudie des mises à jour de ses politiques pour empêcher toute utilisation totalement autonome du modèle « Claude » dans la conception et la construction des prochaines générations de modèles phares sans supervision humaine et compréhension réelle.
Pourquoi cette nouvelle est-elle importante ?
Cet avertissement intervient à un moment où les capacités des modèles « Claude » dans les domaines de la programmation, des mathématiques et de la cybersécurité connaissent des développements notables et rapides. Cette divulgation revêt également une importance particulière car elle émane de l'une des principales entreprises d'intelligence artificielle générative, mettant en lumière le fossé potentiel entre la vitesse de développement des modèles et la capacité des institutions réglementaires et humaines à suivre et à contrôler les mesures de sécurité et de sûreté qui les accompagnent.