AX-Ray项目介绍了一种通用诊断案例，称其发现并随后重复验证了两个公共人工智能模型中的因果泄漏缺陷，即Zyphra/Zamba2-1.2B和nvidia/Nemotron-H-8B-Base-8K。这两个模型在AX-Ray面板中均被列为Causal-LEAK案例，而该框架将已确认的因果泄漏视为阻碍部署的缺陷，无论模型在通用能力测试中的得分如何。
Hugging Face博客上发表的文章以一项基本论点为出发点：仅凭在标准化测试中正确回答问题，并不足以判断模型是否已做好实际使用准备。根据VIDRAFT的介绍，部署安全性包括因果关系的正确性、服务路径的一致性、面对对抗性条件或长上下文时的稳健性、数据安全、基础设施安全、监管准备度以及代理系统风险。
什么是因果泄漏？
在自回归语言模型中，序列中较早位置的表示或概率值行为应当不受该位置无法获得的未来符号影响。当后续信息改变序列前部的掩码状态、概率值或与评估相关的行为时，就会发生因果泄漏。
AX-Ray将这一问题与幻觉、拒绝失败、提示注入和测试污染区分开来。这些都是重要问题，但并不描述同一种缺陷；因果泄漏涉及模型计算路径的正确性。文章称，这一缺陷可能影响前缀稳定性、隐藏状态的正确性、概率值的一致性、批处理或混合方式的序列处理、缓存和服务的可靠性、对长上下文的信任、评估正确性以及代理执行安全性。
为什么能力测试可能无法发现它？
大多数公共排行榜关注模型给出正确答案的频率，这是必要信号，但并不涵盖内部行为的全部属性。因果泄漏可能在问答、数学、编程和指令遵循测试中保持不可见，因为这些测试通常只观察最终答案。
相比之下，AX-Ray检查更深层的属性，包括前缀是否保持不变、服务路径是否一致，以及关键失败是否应当压倒总体能力结果。文章明确概括了这一原则：能力提升并不自动意味着已具备部署准备度。
多轴诊断框架
AX-Ray围绕三个诊断轴和11个运营类别开展工作，并配有一个包含117条诊断记录的公共目录。这些记录涵盖与证据、问题严重性、发现方向、修复方向和治理背景相关的技术问题。
- MODEL-SCAN：检查模型的正确性、可靠性、稳健性、安全性、数据安全、效率、内部结构和修复方向。
- AX-SCAN：重点关注服务、基础设施、安全、合规和运营风险。
- AGENT-SCAN：处理代理部署风险，例如工具权限、劫持、循环、记忆污染、删除行为和自主性治理。
其他类别还包括因果安全与服务完整性、可靠性、稳健性与长上下文、安全与安保及对齐、数据完整性与评估方法、效率与量化及架构、可检查的内部结构以及修复。运营轴还包括引擎间服务偏差、基础设施安全和监管合规等专门类别。
区分模型缺陷与服务问题
AX-Ray还记录了通过upstage/Solar-Open2-250B模型的应用程序编程接口，在FP8 vLLM上运行时审计得到的一项结果。该运行在服务或接口路径中显示出一种可重复的符号概率记录异常，但该框架并未将其作为模型层面已确认的因果泄漏来呈现。
根据文章，具有可检查内部性质的D1和D7测试仍处于暂停状态，因此该行被标记为official_dhs=false，并注明其已接受应用程序编程接口审计，但内部检查尚未完成。这一区分是该方法的核心部分：服务异常、接口评分记录问题以及模型层面的隐藏状态泄漏并不是同一项主张。
透明度与披露边界
AX-Ray表示，它披露排行榜条目、模型级诊断摘要、类别高级别分数、项目分类、与司法管辖区的关联结构、部分公共报告，以及明确的因果泄漏案例。但它不发布专用测试配方、执行阈值细节、原始敏感提示、原始有害输出、受专利权保护的执行细节、内部评估命令或可转化为利用方法的操作流程。
该项目将这种平衡描述为：在不把诊断内容变成绕过模型或复现有害行为的指南的前提下，使安全诊断能够接受问责。它还将目录关联到韩国、欧盟、美国、日本、中国、阿拉伯联合酋长国和沙特阿拉伯的治理背景，同时强调AX-Ray是诊断指导，而不是正式的法律标准。
所发布案例的重要性在于，它提出了能力测试之上的另一层：评估不仅要询问模型是否回答得好，还要询问其模型、服务路径和代理环境在部署、运行和治理过程中是否值得信任。该项目通过FINAL-Bench/AX-RAY提供其公共数据和诊断空间，而专用测试的细节仍未公开。