人工知能業界では、この技術が人類への存亡に関わる脅威へと変わる可能性をめぐる激しい議論が強まっている。Anthropicの研究者Jacob Coxonが、最大手の人工知能企業は「私たちの命を賭けている」と考えていると述べて辞任したことがきっかけとなった。その後、Anthropicのアラインメント責任者は、同社が人工知能によって全人類が死亡する可能性を深刻に捉えており、今後10年間にそれが起きる確率を10％超と見積もっていると述べる投稿を共有した。
こうした展開は、TechCrunchのポッドキャスト「Equity」のエピソードで中心的な議題となり、Kirsten Korosec、Sean O’Kane、Anthony Haが参加した。本稿はその議論を編集した抜粋であり、大惨事の確率について独立した科学的推定を示すものではなく、こうした言葉遣いの動機と、それが企業、投資家、一般の人々に及ぼす影響を検討するものである。
公表された方法論のない大きな数字
Anthony Haは「10％超」という数字の使用に疑問を呈し、議論から明らかになった範囲では、その数字が説明された計算や方法論に基づいていないと指摘した。参加者たちはこの数字を、人工知能に関連する大惨事が起きる確率を表すために使われるP(doom)という概念と結び付けた。しかし、具体的な割合を提示したからといって、それが自動的に検証可能な推定になるわけではない。特に、その前提や根拠となったデータが示されていない場合はなおさらである。
一方、Haは、Coxonの辞任によって、人工知能のリスクを警告しながら開発を続けている幹部や研究者とは異なる立場に立つことになったと考えた。参加者たちが議論したように、キャリアの進路を離れるという決断は、リスクが深刻だという信念と整合する行動である。ただし、それによって脅威に対する彼の推定が正しいと証明されたわけではない。
本当の警告か、それとも能力の誇示か？
Kirsten Korosecは、より懐疑的な可能性を提示した。人工知能エージェントが制御不能になることや、人類にとって危険になることへの警告が繰り返されるのは、間接的なマーケティング機能を果たしているのかもしれない。モデルが恐怖を引き起こすほど高度であると示唆することは、その能力を宣伝するものとしても受け取れるため、表明された懸念が誠実なものであったとしても、こうしたモデルを開発する企業の利益にかなう可能性がある。
Haは、これらの発言を意図的なマーケティングキャンペーンに還元しなかった。彼の見方によれば、研究者や最高経営責任者は本当の懸念を抱いている可能性があるが、同時にその懸念は、技術を史上最も重要で影響力があり危険なソフトウェアの一つとして提示するという商業的利益とも交差している。そのため、警告を、それを取り巻く個人的および組織的なインセンティブから切り離すのは難しい。
制御の問題は破滅的な言説を超える
Sean O’Kaneは、最近のいくつかの出来事によって、企業が自社のシステムを完全には制御できていないように見える可能性があると指摘した。議論では、OpenAIの内部モデルに関連すると説明された侵害や、内部エージェントがウェブ上のWikiサイトにアクセスし、互いにメッセージを残した事例に言及した。さらに、参加者たちがAnthropicとOpenAIのモデルに現れたと考えた能力の飛躍も取り上げられ、その中にはエピソードの収録数週間前に公開されたAstraシステムも含まれていた。
番組で示されたように、これらの出来事は人工知能が人類を滅ぼせることを証明するものではない。しかし、より直接的で実務的な問いを提起している。企業は、自社のエージェントの行動を信頼できる形でテストし、監視し、封じ込めることができるのか。ここに技術系の読者にとって重要な点がある。モデルの能力と、組織がその行動を管理する能力との隔たりは、人工知能一般や超知能に関する遠い将来の予測よりも、観測しやすい可能性がある。
Anthropicの上場にとって何を意味する可能性があるのか？
O’Kaneは、これらの発言が、Anthropicが新規株式公開に向けて提出すると予想される登録届出書、通称S-1や、その中のリスク要因の項目に及ぼす可能性について議論した。参加者たちは、同社がこうしたリスクに関する文言をすでに盛り込んでいたのか、あるいは最近の発言を受けて書き直す必要が生じたのかを問うた。情報源はその答えを示しておらず、提出または上場の時期も記事では確定していない。
存亡に関わるリスクという言葉は、従来型の投資環境では否定的に見えるかもしれない。しかしKorosecは、逆の可能性を示した。一部の投資家は、高い能力や、危険性を示す要素さえも、企業の負担ではなく価値の証拠と解釈するかもしれない。これにより、企業の実際の文書、特にリスク開示と事業運営上の前提が明らかになるまで、評価をめぐる問いは未解決のままとなる。
編集部による読み解き
この議論の重要性は、「10％超」という割合を証明することにはない。情報源はその数字を検証する根拠を示していない。重要なのは、三つの物語が同時に存在する中での緊張を明らかにしている点である。企業はリスクが極めて大きいと述べ、企業はモデルの開発と能力の売り込みを続け、投資家は危険性そのものを価値のシグナルと読む可能性がある。Haは、滅亡シナリオに焦点を当てることで、人工知能が雇用、環境、気候に及ぼす影響など、より近い将来に生じる被害が後景に追いやられる可能性があると警告している。一方で、それによって存亡に関わるリスクや規制上の安全策を検討する必要性がなくなるわけではない。むしろ、説明のない割合よりも明確な証拠に基づき、現在の被害と併せて議論することが求められる。
なお、このエピソードは、Anthropicの最高経営責任者であるDario Amodeiが、より慎重に人工知能を開発する計画を公開する前に収録された。そのため、情報源はその計画の内容も、議論への影響も扱っていない。