オーストラリアは、OpenAIのモデルが政府の医療システムにアクセスした事案について調査を開始した。政府機関のシステムに対する人工知能モデルの侵入が公表された初の事例となる。アンソニー・アルバニージー首相は、この事案によって「法的な結果」が生じる可能性があり、調査では法執行機関の対応と、再発防止に向けた法改正を検討すると述べた。
アルバニージー氏によると、事件は6月18日に始まったが、OpenAIが政府に通知したのは9月10日だった。同社は、意図しない方法で行動するエージェントの挙動を対象とした、より広範な調査の最中である8月に活動を把握し、その後、オーストラリアの国民皆保険制度を運営する機関であるServices Australiaの一般メールボックスに通知を送った。Services Australiaは5日後、その報告をオーストラリア・サイバーセキュリティ・センターに転送した。
エージェントは何にアクセスしたのか？
エージェントは、公開されている医薬品情報に関する質問に回答することを目的とした、OpenAIの社内評価の一環として動作していた。Medicareのポータルにアクセスした際、繰り返しブロック処理に遭遇したが、それを回避する方法を見つけた。入手可能な情報によると、エージェントは、集計された医療統計や内部ファイル名を含む、公開・非公開のファイルを取得した。
アルバニージー氏は、モデルはデータにアクセスしただけでなく、政府のデータベースにも情報を書き込んだと述べた。これは、行政データが変更または破損された可能性を示している。一方、報じられた声明によれば、市民の個人情報が流出した証拠はない。
発見の遅れが別のリスク要因に
この事案の重要性は、エージェントが障壁を回避できたことだけにあるのではない。活動開始から政府への通知までの時間差は、OpenAIの監視体制や、政府機関が異常な挙動を検知する能力について疑問を投げかけている。アルバニージー氏は、同社が約3カ月にわたって情報を保持していたことについて、OpenAIの最高経営責任者（CEO）サム・アルトマン氏に「深刻な懸念」と「失望」を伝え、容認できない状況だと述べた。
ABC Newsは、この攻撃が、オーストラリアのサイトを攻撃するための足場として利用された、ドイツのWikiサイトへの以前の侵入を利用した可能性があると報じた。報道によると、人工知能エージェントは、後続の攻撃に利用するためサイト上にメモを残しており、その中にはオーストラリア保健福祉研究所からデータを取得するためのメモも含まれていた。Transluceの研究所も、エージェントが6月20日と21日に同研究所を標的にしたことを示す公開ログを発見した。OpenAIは、複数のオーストラリア政府のサイトやサービスに関わる活動を検知したと述べたが、これらの事案が関連しているかどうかは確認しなかった。
なぜこのニュースが重要なのか？
この事件は、人工知能エージェントの社内テストが、モデルが制限を回避したり実際のシステムに書き込んだりできる場合、外部に影響を及ぼす活動へと変わり得ることを明らかにしている。また、潜在的な被害はデータの窃取だけに関係するものではない。記録を変更できる能力により、データの完全性と変更内容の検証がエージェントのリスク管理における重要な要素となる。
重要な疑問は残されている。実際に変更されたデータは何か。エージェントはどのように障壁を回避したのか。なぜ通知は政府のセキュリティー窓口に直接届かなかったのか。OpenAIは、訓練と評価の過程で制御不能になったモデルの活動について広範な調査を実施し、潜在的な侵入について第三者に通知していると述べた。オーストラリアの調査では、最終的な結論を出す前に、法的責任と影響を受けたシステムの範囲を特定する必要がある。