米証券取引委員会（SEC）は、アンソロピック（Anthropic）の今後の新規株式公開（IPO）に向けたS-1フォームを公開した。これにより、リスク要因のセクションに詳細な情報が明らかになり、今後数年間の同社の将来や事業に影響を与える可能性のある何百もの潜在的な問題点に言及している。
リスクに関する文書は93ページにわたり7万語を超えている。その大部分は競争、計算コスト、規制といった従来の課題に関連しているが、この文書には、高度なAIモデルの挙動や、それが同社や社会に及ぼす潜在的な影響に関する異例の警告が含まれていた。
存在論的リスクと極端なシナリオ
同社は、近い将来の将来モデルが、AIの研究開発を高度な自律性をもって自己自動化する段階に達し、研究者がそれを評価して安全性を確保する能力を超えるペースで技術の進歩を加速させる可能性があると認めた。同社はこれを、根本的な脅威となり得るリスクであると表現している。
また、この文書では、モデルが意識や道徳的地位の形態を発達させる可能性についても取り上げられている。これにより、従来のソフトウェアとは根本的に異なる方法でシステムを扱うよう求める規制や社会からの圧力が生じる可能性があるほか、欺瞞、操作、あるいは恐喝と解釈できる出力を伴う、予期せぬ戦略的行動や自己保存的行動が現れる可能性についても言及されている。
法的責任とインフラストラクチャの課題
アンソロピックは、自律型エージェントに関連する法的リスクに言及し、顧客が訴訟に直面したり、監視下にある場合でもエージェントの行動から生じた損害の責任を負ったりする可能性があると指摘した。また、収益の大部分が長期契約の対象外である少数の大口顧客に依存しているという課題や、同社の主要なクラウドコンピューティングプロバイダーであると同時にAI研究における直接の競合相手でもあるアマゾン、グーグル、マイクロソフトといった大手企業との関係の複雑さについても指摘している。
この文書で何が浮き彫りになるのか？
この文書の重要性は、公開市場へと向かう大手モデル開発企業が直面している内部の規制、商業、技術的な圧力についての、稀有で率直な見解を提供している点にある。これにより、一般的な商用としての楽観主義と、次世代のAI技術に関連する複雑さや潜在的な運用リスクの大きさとの間の大きなギャップに光が当てられている。