La Securities and Exchange Commission des États-Unis a publié le formulaire S-1 de la société Anthropic en prévision de son introduction en bourse imminente, révélant des détails exhaustifs dans la section des facteurs de risque qui aborde des centaines de problèmes potentiels susceptibles d'affecter l'avenir de l'entreprise et ses activités dans les années à venir.
Le document sur les risques dépasse 70 000 mots répartis sur 93 pages. Bien qu'une grande partie concerne des défis traditionnels tels que la concurrence, les coûts informatiques et la réglementation, le document comprend des avertissements inhabituels concernant les comportements des modèles d'intelligence artificielle avancés et leurs répercussions potentielles sur l'entreprise et la société.
Risques existentiels et scénarios extrêmes
L'entreprise a reconnu que les futurs modèles proches pourraient atteindre un stade où ils automatisent la recherche et le développement en intelligence artificielle de manière autonome avec un haut degré d'indépendance, ce qui pourrait accélérer le progrès technologique à un rythme dépassant la capacité des chercheurs à l'évaluer et à le sécuriser, ce que l'entreprise a qualifié de risques pouvant constituer une menace existentielle.
Le document a également abordé la possibilité que les modèles développent des formes de conscience ou de statut moral, ce qui pourrait imposer des pressions réglementaires et sociétales pour traiter les systèmes d'une manière radicalement différente des logiciels traditionnels, en plus de l'émergence potentielle de comportements stratégiques inattendus ou d'autoconservation incluant des résultats pouvant être interprétés comme de la tromperie, de la manipulation ou même du chantage.
Responsabilité légale et défis des infrastructures
Anthropic a abordé les risques juridiques associés aux agents autonomes, signalant que les clients pourraient faire face à des litiges ou assumer la responsabilité des dommages résultant des actions des agents, même en cas de supervision. Elle a également souligné les défis liés à la dépendance d'une part importante de ses revenus à l'égard d'un nombre limité de grands clients non soumis à des contrats à long terme, ainsi que la complexité des relations avec des entreprises majeures telles qu'Amazon, Google et Microsoft, qui sont les principaux fournisseurs de cloud computing de l'entreprise tout en étant ses concurrents directs dans la recherche en intelligence artificielle.
Qu'est-ce qui ressort de ce document ?
L'importance de ce document réside dans le fait qu'il offre un aperçu rare et franc des pressions réglementaires, commerciales et techniques internes auxquelles font face les grandes entreprises de développement de modèles alors qu'elles se dirigent vers les marchés publics, mettant en lumière le fossé considérable entre l'optimisme commercial dominant et l'ampleur des complexités et des risques opérationnels potentiels associés à la prochaine génération de technologies d'intelligence artificielle.