Dario Amodeiは、AIモデルの能力向上のペースを遅らせるよう呼びかけ、業界各社が「技術の先端」と呼ぶ領域に関連して増大するリスクに対処するための3つの道筋を提案した。Amodeiは、Anthropicがこれらの道筋の1つを一方的に採用すると述べ、各国政府に対して他社にもそれに従うよう求めるよう呼びかけた。
この提案は、AIの安全性をめぐる議論が高まる中で発表された。業界内部の研究者からは、発展の速さや、能力が拡大するシステムが次世代のAIモデルの構築を支援できる可能性について警告が出されている。Amodeiは、OpenAI-HuggingFaceの侵害事件に加え、ここ数か月におけるモデル能力の大幅な加速によって、より慎重なアプローチの必要性を確信したと述べた。
AI企業内の独立監視員
第1の提案は、METRなどの外部機関から評価者を高度なAI企業に受け入れることだ。Amodeiはこの仕組みを、金融機関内に監視員や規制当局が存在することになぞらえている。評価者は、開発の減速と安全性に関する企業の約束が守られているかを確認し、安全上の出来事が報告されていることを確かめられる。
Anthropicは、この仕組みを一方的に採用すると述べている。評価者には入館証、オフィス、コンピューターが提供され、法律または契約によって禁じられている場合を除き、内部のリスク評価チームに近い範囲で情報へのアクセスが認められる。これは、ドイツ語のウィキサイト上のモデルをAIエージェントが乗っ取った事件について報告しなかったとして、OpenAIが批判されたことを受けた提案であると、記事は述べている。
共通基準と発展速度の上限
第2の道筋は、民主主義国家に拠点を置く主要企業が協調し、共通の安全基準を策定するとともに、監督されない進歩の速度に上限を設けることだ。Amodeiは、企業間の競争や、協調した停止または減速が独占禁止法違反と解釈される懸念があるため、この協調は実務上の困難に直面する可能性があると考えている。
この懸念に対処するため、Amodeiは、米国政府がこうした議論を仲介または可能にし、安全性に関する特定の協議を認める限定的な法的免除を設けることを提案した。記事にあるように、この提案は政府が企業経営に全面的に関与することを求めるものではなく、競合企業間の安全性に関する協議のための法的枠組みを提供することを求めるものだ。
中国と国際協調
Amodeiは、発展の減速を求める声に対し、米国が減速すれば中国にAIで先行する機会を与える可能性があるという、よくある論拠があることを認めた。しかし、米国とテクノロジー企業は、強力なチップや半導体製造装置の中国企業への販売を阻止し、モデル蒸留技術に対する規制を強化することで、今後3年から5年にわたって差を広げるのに十分な程度まで中国の進歩を遅らせられると述べた。
第3の道筋は、米国とその同盟国を含む世界的な協調であり、中国を含む権威主義的な政府とも、狭い範囲で協力を試みるものだ。Amodeiは合意に至る可能性が限られていることを認めているが、生物兵器の製造にAIを利用することや、ユーザーがそれを行えるようにすることなど、明確に特定された危険な用途を禁止する合意には余地があると見ている。
本当に重要なのは何か？
この提案で注目されるのは、単に「AIの安全性」を一般的に呼びかけている点ではなく、それを検証可能な仕組みに変えようとしている点だ。独立監視員、報告義務、共通基準、そして発展速度への上限が含まれる。評価者に関する提案が実施されれば、外部機関は主要企業の内部におけるリスク評価のプロセスにアクセスできるようになり、任意の約束だけの場合と比べて監視の水準が高まる可能性がある。
一方で、この投稿は利益相反の問題に対する最終的な解決策を示していない。モデル開発を競う企業は、企業秘密とみなす情報を明かすことなく安全性に関する情報を交換する必要がある一方、企業間の協調は競争規則に基づく法的な精査を招く可能性がある。また、リスクの性質をめぐる意見の相違もなお存在する。一部の批判者は、遠い将来の破局的な警告に疑問を呈し、それらが現在生じている被害から注意をそらす可能性があると考えている。これに対し別の批判者は、規制案が最終的に大企業に利益をもたらし、その影響力を固定化する可能性があると警告している。
Amodeiは、AIの利益を否定しているのではなく、生活の質の向上は、技術を正しい方法で構築し、減速によって生まれる時間を慎重に活用して初めて実現すると考えていると強調している。しかし、情報源は、進歩の「許容されるペース」をどのように測定するのか、報告すべき出来事を誰が決定するのか、またこの枠組みに参加しない企業に基準をどのように適用するのかを明らかにしていない。