用語

AI Safety | AIの安全性

AIの安全性は、AIのリスクを低減し、高度なモデルが安全に開発・利用されていることを検証することに重点を置く分野です。この用語に関連する報道では、独立評価、監視、安全性の透明性、企業間協力に加え、規制と開発速度をめぐる議論が扱われています。

AIの安全性は、AIのリスクを低減し、高度なモデルが安全に開発・利用されていることを検証することに重点を置く分野です。

この分野に含まれるもの

  • モデル評価:訓練、リリース、利用拡大の前に、モデルの能力や挙動を調べること。
  • 監視:懸念される挙動を追跡し、早期に検出するシステムを利用すること。
  • 透明性:システムカードに示される内容を含め、モデルの能力とリスクを文書化すること。
  • 独立検証:モデルが安全に開発されているかを調べるため、評価機関や独立組織を関与させること。
  • ガバナンス:モデルの開発と提供を規律する可能性のあるルール、基準、協力の仕組みについて議論すること。

AIの安全性に関連する主な論点

  • 開発速度:高度なモデルの開発ペースが、評価と十分な配慮のための時間を確保できるものかどうかが、論争の一つとなっています。
  • 延期と減速:OpenAIは、ペースを落とすことが必要だと判断した場合、訓練を停止またはリリースを延期する可能性があると述べています。一方、Anthropicの責任者は、システムをより深く理解し、制御できるようにするため、開発を減速させるよう呼びかけました。
  • エンジニアリングか規制か:Jensen Huangは、安全性はエンジニアリング、 市場の力、既存の法律によって管理できるエンジニアリング上の問題だと考えています。一方、報道では、このアプローチだけで十分かどうかが問われています。
  • 企業間協力:OpenAI、Anthropic、Google DeepMindは安全性について協議し、独立評価や業界の基準機関について検討しました。ただし、情報源は共同機関の設立や拘束力のある合意を証明していません。
  • 国際競争:開発の減速を求める提案と中国側の反応をめぐる議論は、AIの安全性が技術競争、半導体チップ、高度なモデルへの制限と交差していることを示しました。

安全性の検証が難しい理由

報道は、監視の十分性をどう測るか、また訓練やリリースの延期が必要になる時点をどう定めるかについて、利用可能な情報源が結論を出していないことを示しています。また、現行法が十分か、評価機関の独立性をどう確保するか、安全性基準が競争を制限するために利用されるのをどう防ぐかについても、結論は出ていません。

よくある質問

AIの安全性とは、開発を止めることですか?

情報源はそのようには示していません。議論は、開発速度と、システムを理解・制御するための評価、監視、能力とのバランスを取ることをめぐるものであり、一部のケースでは減速を求める声もあります。

モデルの安全性を検証する、統一された独立機関はありますか?

提示された証拠は、既存の統一機関の存在を示していません。報道は、企業間の協議、独立評価機関の関与、業界基準の策定に関する提案について述べています。

エンジニアリングと市場の力だけで安全性を確保できますか?

これはJensen Huangに帰属する立場ですが、記事はこれに対する異論を示しており、その十分性を独立に確定する結論は示していません。