O projeto AX-Ray apresenta um caso diagnóstico público que, segundo afirmou, revelou e depois reproduziu provas de falhas de vazamento causal em dois modelos públicos de IA: Zyphra/Zamba2-1.2B e nvidia/Nemotron-H-8B-Base-8K. Os dois modelos aparecem no painel do AX-Ray como casos de Causal-LEAK, enquanto a estrutura trata o vazamento causal confirmado como uma falha que impede a implantação, independentemente da pontuação do modelo em testes gerais de capacidade.
O material publicado no blog do Hugging Face parte de uma tese fundamental: responder corretamente a perguntas de testes padronizados não é suficiente para determinar se um modelo está pronto para uso prático. A segurança da implantação, de acordo com a apresentação da VIDRAFT, inclui a correção das relações causais, a consistência do caminho de serviço, a robustez diante de condições adversariais ou contextos longos, a segurança dos dados, a segurança da infraestrutura, a prontidão regulatória e os riscos de sistemas agênticos.
O que significa vazamento causal?
Em um modelo de linguagem autorregressivo, presume-se que as representações ou o comportamento dos valores de probabilidade em uma posição anterior da sequência permaneçam inalterados pelos tokens futuros que não estão disponíveis nessa posição. O vazamento causal ocorre quando informações posteriores ou posteriores ao contexto alteram estados ocultos, valores de probabilidade ou um comportamento relacionado à avaliação na parte anterior da sequência.
O AX-Ray distingue esse problema de alucinações, falhas de recusa, injeção de comandos e contaminação de testes. Esses são problemas importantes, mas não descrevem a mesma falha; o vazamento causal está relacionado à correção do caminho computacional do modelo. Segundo o material, essa falha pode afetar a estabilidade do prefixo, a correção dos estados ocultos, a consistência dos valores de probabilidade, o processamento de sequências em lotes ou de forma híbrida, a confiabilidade do cache e do serviço, a confiança em contextos longos, a correção da avaliação e a segurança da execução agêntica.
Por que os testes de capacidade podem não detectá-lo?
A maioria dos placares públicos concentra-se na frequência com que o modelo fornece uma resposta correta, um sinal necessário, mas que não cobre todas as propriedades do comportamento interno. O vazamento causal pode permanecer invisível em testes de perguntas e respostas, matemática, programação e seguimento de instruções, porque esses testes geralmente observam apenas a resposta final.
Em contrapartida, o AX-Ray examina propriedades mais profundas, incluindo a permanência do prefixo, a consistência dos caminhos de serviço e se as falhas críticas devem prevalecer sobre o resultado geral das capacidades. O material resume o princípio claramente: capacidade elevada não significa automaticamente prontidão para implantação.
Estrutura diagnóstica multidimensional
O AX-Ray organiza seu trabalho em torno de três eixos diagnósticos e 11 categorias operacionais, com um catálogo público que contém 117 registros diagnósticos. Esses registros abrangem questões técnicas relacionadas às evidências, à gravidade do problema, à direção da detecção, à direção da correção e ao contexto de governança.
- MODEL-SCAN: examina a correção, a confiabilidade, a robustez, a segurança, a integridade dos dados, a eficiência, a estrutura interna e as tendências de processamento do modelo.
- AX-SCAN: concentra-se em serviço, infraestrutura, segurança, conformidade e riscos operacionais.
- AGENT-SCAN: trata dos riscos da implantação agêntica, como permissões de ferramentas, sequestro, loops, contaminação da memória, comportamento de exclusão e governança da autonomia.
As demais categorias incluem segurança causal e integridade do serviço, confiabilidade, robustez e contextos longos, segurança, proteção e alinhamento, integridade dos dados e metodologia de avaliação, eficiência, quantização e arquitetura, estrutura interna inspecionável e processamento. O eixo operacional também inclui categorias específicas para divergência de serviço entre mecanismos, segurança da infraestrutura e conformidade regulatória.
Distinguindo uma falha do modelo de um problema de serviço
O AX-Ray também registra um resultado auditado por meio da API do modelo upstage/Solar-Open2-250B quando executado com FP8 vLLM. A execução mostrou uma anomalia reproduzível no registro das probabilidades dos tokens no caminho de serviço ou na interface, mas a estrutura não a apresenta como vazamento causal confirmado no nível do modelo.
Segundo o material, os testes D1 e D7, de natureza internamente inspecionável, continuam pendentes; por isso, a linha foi marcada como official_dhs=false, com a indicação de que passou por auditoria da API e que a inspeção interna não foi concluída. Essa separação é uma parte central da metodologia: uma anomalia de serviço, um problema de registro de pontuações pela interface e um vazamento de estados ocultos no nível do modelo não constituem uma única alegação.
Transparência e limites de divulgação
O AX-Ray afirma divulgar linhas do placar, resumos de diagnósticos no nível do modelo, pontuações de alto nível das categorias, classificação dos itens, estrutura de vinculação às jurisdições e alguns relatórios públicos, além dos casos específicos de vazamento causal. No entanto, não publica receitas de testes privadas, detalhes de limiares operacionais, prompts sensíveis brutos, saídas nocivas brutas, detalhes de implementação protegidos por patentes, comandos internos de avaliação ou procedimentos que possam ser convertidos em métodos de exploração.
O projeto apresenta esse equilíbrio como uma tentativa de tornar os diagnósticos de segurança responsabilizáveis sem transformá-los em um guia para contornar modelos ou reproduzir comportamentos nocivos. Também relaciona o catálogo a contextos de governança na Coreia, na União Europeia, nos Estados Unidos, no Japão, na China, nos Emirados Árabes Unidos e na Arábia Saudita, enfatizando que o AX-Ray é uma orientação diagnóstica, não um padrão jurídico oficial.
A importância do caso publicado está em propor uma camada adicional aos testes de capacidade: a avaliação não pergunta apenas se o modelo responde bem, mas também se seu modelo, seu caminho de serviço e seu ambiente agêntico são confiáveis na implantação, na operação e na governança. O projeto disponibiliza seus dados públicos e seu espaço diagnóstico por meio do FINAL-Bench/AX-RAY, enquanto os detalhes dos testes privados permanecem não publicados.