AX-Rayプロジェクトは、2つの公開AIモデル、Zyphra/Zamba2-1.2Bおよびnvidia/Nemotron-H-8B-Base-8Kにおける因果漏洩の欠陥を明らかにし、その存在を再現可能な形で実証したとする公開診断事例を提示している。両モデルはAX-RayのダッシュボードでCausal-LEAKの事例として表示されており、このフレームワークでは、一般的な能力テストにおけるモデルのスコアにかかわらず、確認された因果漏洩を展開を妨げる欠陥として扱っている。
Hugging Faceのブログに掲載された記事は、基本的な主張から出発している。標準化テストで正しい回答を出せるだけでは、モデルが実用に向けて準備できていると判断するには不十分である。VIDRAFTが示す説明によれば、展開の安全性には、因果関係の正確性、サービス経路の一貫性、敵対的条件や長文コンテキストへの堅牢性、データの安全性、インフラストラクチャのセキュリティ、規制対応の準備、エージェントシステムのリスクが含まれる。
因果漏洩とは何か？
自己回帰型の言語モデルでは、シーケンス内の過去の位置における表現や確率値の挙動は、その位置で利用できない未来のトークンによって影響を受けないことが前提となる。因果漏洩は、後続の情報、またはコンテキストの後半の情報が、シーケンス前半における隠れ状態、確率値、あるいは評価に関連する挙動を変化させる場合に発生する。
AX-Rayは、この問題を幻覚、拒否の失敗、プロンプトインジェクション、ベンチマーク汚染とは区別している。これらはいずれも重要な問題だが、同じ欠陥を表すものではない。因果漏洩は、モデルの計算経路の正確性に関わる。記事によれば、この欠陥は、プレフィックスの安定性、隠れ状態の正確性、確率値の一貫性、バッチ処理やハイブリッド方式によるシーケンス処理、キャッシュとサービスの信頼性、長文コンテキストへの信頼性、評価の正確性、エージェント実行の安全性に影響を及ぼし得る。
なぜ能力テストでは検出できない可能性があるのか？
一般的なリーダーボードの大半は、モデルが正解を出す頻度に焦点を当てている。これは必要な指標だが、内部挙動のすべての特性をカバーするものではない。質問応答、数学、コーディング、指示追従のテストでは、通常、最終的な回答だけを観察するため、因果漏洩が見えないままになる可能性がある。
これに対してAX-Rayは、プレフィックスが不変に保たれるか、サービス経路が一貫しているか、重大な失敗が総合的な能力スコアを上回るべきかどうかなど、より深い特性を検査する。記事はこの原則を明確に要約している。能力が高いことは、展開の準備が自動的に整っていることを意味しない。
多軸診断フレームワーク
AX-Rayは、3つの診断軸と11の運用カテゴリーを中心に構成されており、117件の診断記録を含む公開カタログを備えている。これらの記録は、証拠に関連する技術的な質問、問題の重大度、検出の方向性、対処の方向性、ガバナンスの文脈を扱う。
- MODEL-SCAN：モデルの正確性、信頼性、堅牢性、安全性、データの健全性、効率性、内部構造、処理の傾向を検査する。
- AX-SCAN：サービス、インフラストラクチャ、セキュリティ、コンプライアンス、運用リスクに焦点を当てる。
- AGENT-SCAN：ツール権限、乗っ取り、ループ、メモリ汚染、削除挙動、自律性のガバナンスなど、エージェント展開のリスクを扱う。
その他のカテゴリーには、因果安全性とサービス完全性、信頼性、堅牢性と長文コンテキスト、セキュリティ・安全性・アライメント、データ完全性と評価方法、効率性・量子化・アーキテクチャ、検査可能な内部構造、処理が含まれる。また、運用軸には、エンジン間のサービスドリフト、インフラストラクチャのセキュリティ、規制コンプライアンスに関するカテゴリーも含まれる。
モデルの欠陥とサービスの問題の区別
AX-Rayは、FP8 vLLMを介して実行したモデルのAPI、upstage/Solar-Open2-250Bについて、監査済みの結果も記録している。この実行では、サービス経路またはインターフェースにおけるトークンの確率記録に再現可能な異常が示されたが、フレームワークはこれをモデルレベルで確認された因果漏洩として提示していない。
記事によれば、内部検査が可能な性質を持つD1およびD7のテストは現在も保留されている。そのため、この行にはofficial_dhs=falseのタグが付けられており、API監査は実施されたものの、内部検査は完了していないことが示されている。この区別は方法論の中心的な要素である。サービスの異常、インターフェースを通じたスコア記録の問題、モデルレベルでの隠れ状態の漏洩は、同一の主張ではない。
透明性と開示の限界
AX-Rayは、リーダーボードの行、モデルレベルの診断概要、カテゴリー別の高レベルスコア、項目の分類、管轄区域との関連付けの構造、一部の公開報告書に加え、特定された因果漏洩の事例を開示するとしている。一方、専用テストのレシピ、実行時の閾値の詳細、機微な生のプロンプト、有害な生の出力、特許権で保護された実装の詳細、内部評価コマンド、悪用手法に転用可能な手順は公開していない。
プロジェクトはこのバランスについて、安全性診断を説明責任の対象にしつつ、モデルの回避や有害な挙動の再現に使える手引きへと変えてしまわないための試みだと説明している。また、カタログを韓国、欧州連合、米国、日本、中国、アラブ首長国連邦、サウジアラビアのガバナンス文脈に関連付けているが、AX-Rayは診断上のガイダンスであり、正式な法的基準ではないことを強調している。
公開された事例の重要性は、能力テストの上に追加の層を提示している点にある。評価では、モデルが良い回答を出すかどうかだけでなく、展開、運用、ガバナンスの際に、そのモデル、サービス経路、エージェント環境が信頼できるかどうかも問われる。プロジェクトはFINAL-Bench/AX-RAYを通じて公開データと診断スペースを提供しているが、専用テストの詳細は公開されていない。