Anthropicは、自社の人工知能モデルを、生物兵器の開発を支援し得る方法で利用しようとする試みを検知したと発表した。これは、同モデルの悪用と、それを抑制するために講じ得る措置を扱った報告書の中で明らかにされた。同社は、人工知能の能力向上に伴う最も重大なリスクの一つとして、生物学的悪用を挙げている。
報告書によると、懸念は主に、高度なモデルが既存の病原体をより危険なものにする助けとなったり、新たな病原体の開発に寄与したりする可能性に集中している。公表された本文は、実際の生物兵器が製造された証拠を示していないが、Anthropicが通常の研究利用を十分に逸脱しており、予防措置を講じる必要があると判断した事例を記録している。
同社が検知した利用例
報告書は、十分な支援を受けていない地域で活動する研究者が、哺乳類への鳥インフルエンザの適応に関する実験の計画を支援してもらうためにClaudeを利用したと述べている。別のケースでは、国家の支援を受ける研究者が、コンピューター環境内で毒素を再設計するためにモデルを利用したと報告書は指摘している。
Anthropicは、これらの例に挙げた人物が悪意を持っていたと非難しておらず、同社の判断は慎重さに基づくものだったと強調した。この点が重要なのは、報告書の説明によれば、リスク評価が利用者の身元や表明された意図だけでなく、モデルが提供し得る支援の性質と、それが悪用される可能性にも基づいているためだ。
実際に何が変わったのか？
これらの事例を発見した後、Anthropicは該当する利用者のアカウントを停止し、将来この種の活動をより効果的に防止するための追加措置も講じたと述べた。抽出された本文は、検知の仕組み、停止基準、結果の検証方法に関する技術的な詳細を明らかにしていない。そのため、この資料だけでは予防システムの精度や適用範囲を評価できない。
実際には、この発表は、生物学的な人工知能リスクに関する理論的な警告から、同社が自社サービス内で検知した実際の利用試みに対処する段階への議論の移行を示している。これは、モデル開発者、プラットフォーム運営者、研究機関にとって重要である。防止策は特定の回答を遮断するだけにとどまらず、利用パターンを監視し、リスクの高いアカウントや活動について判断することも必要とするためだ。
certi.newsの見解
ここで最も重要な変化は、モデルの新たな能力が発表されたことではなく、Anthropicが利用者への制限適用と予防措置の更新に至った事例を明らかにしたことにある。また、報告書は、本文が明確に回答していない問いも提起している。すなわち、病原体に関する正当な研究と、兵器開発のリスクを高め得る利用をどのように区別できるのかという問いだ。同社によれば、これらの事例を共有する目的は、人工知能業界内でこうしたリスクと対策について対話を始めることにある。しかし、利用可能な本文には、措置の有効性や他社での適用可能性を判断するのに十分な詳細は示されていない。
本文には、Anthropicの元研究者Jacob Coxonの辞任と、大きな力と資源を獲得する可能性のある人工知能システムのリスクに関する同氏の警告への言及も含まれている。ただし、この言及は報告書が記録した事例とは別のものであり、それ自体が、辞任と同社が発表したアカウント停止措置との間に直接的な関係があることを証明するものではない。