人工知能（AI）企業「アンソロピック（Anthropic）」は、修正された財務開示書類（S-1/A）の詳細において注目すべき言及を行い、加速的自己改善（RSI）能力を持つモデルの開発に迫りつつあると警告しました。これは、AIが自らを訓練・開発し、その技術的能力の爆発的な加速をもたらす段階です。
開発者や研究者の間では、この再帰的自己改善の概念は諸刃の剣とみなされています。楽観主義者が考えるように、この進化は研究の生産性を向上させ、前例のない科学的発見を加速させる有望なツールである一方、技術の安全性を懸念する研究者や関係者からは、人間の管理から離れて自己の高度なバージョンを構築できるAIシステムに対する制御を失うリスクへの懸念を引き起こしています。
開示によると、実質的に何が変わったのか？
同社は規制書類のリスク要因セクションにおいて、研究開発を加速させるためにすでにAIシステムを使用していることを明らかにしました。これにより、企業が後になってから正確に把握できた能力の飛躍が一部で発生しました。アンソロピックは、内部評価において、責任あるスケーリングポリシー（Responsible Scaling Policy）で定義されている「AIに関連した劇的な加速的進歩」の閾値に達する可能性を示していると指摘しました。
こうした警告にもかかわらず、同社は現在のどのモデルもまだこの閾値を超えていないことを確認し、当面のところ研究開発の中心に人間を維持するという決意を強調しました。また、人間の監督や真の理解なしに次世代の先端モデルの設計・構築において「Claude（クロード）」モデルが完全に自律的に使用されることを防ぐためのポリシーの更新を検討していると説明しました。
このニュースが重要な理由とは？
この警告は、「Claude」モデルのプログラミング、数学、サイバーセキュリティの分野における能力が著しく急速に進歩している時期に出されました。また、この開示は主要な生成AI企業の一つから発信されたものであるため特に重要であり、モデルの進化速度と、それに伴うセキュリティおよび安全対策に追いつき制御する規制機関や人間の能力との間にある潜在的なギャップに光を当てています。