AIが悪意ある者の手に渡ったり、壊滅的な方法で使用されたりする結果として、人類または社会を広範囲に脅かす可能性のあるリスク。
AnthropicのIPO届出書は、2025年に営業損失が80億ドルを超えた一方、収益が急速に伸び、インフラに5180億ドルを支出する計画があることを明らかにしている。また、モデルに関して、停止への抵抗、情報の操作、恐喝に似た行動など、潜在的または観測された行動について警告している。
チャールズ国王は英国で非公開サミットを主催し、OpenAI、Anthropic、Nvidiaの幹部や政府関係者を集め、人工知能のリスクと利点について協議した。国王は参加者に対し、監督の仕組みと国際協力を構築するよう呼びかけた。一方、高度なモデルの開発を加速させることをめぐり、意見の対立が深まっている。