Le projet AX-Ray présente un cas diagnostique public qui, selon lui, a révélé puis confirmé par reproduction des défauts de fuite causale dans deux modèles publics d’intelligence artificielle : Zyphra/Zamba2-1.2B et nvidia/Nemotron-H-8B-Base-8K. Les deux modèles apparaissent dans le tableau de bord AX-Ray comme des cas de Causal-LEAK, tandis que le cadre considère la fuite causale confirmée comme un défaut empêchant le déploiement, indépendamment du score du modèle aux tests de capacités générales.
L’article publié sur le blog de Hugging Face part d’une thèse fondamentale : répondre correctement aux questions des tests standardisés ne suffit pas à déterminer si un modèle est prêt pour une utilisation pratique. Selon la présentation de VIDRAFT, la sûreté du déploiement englobe la validité des relations causales, la cohérence du chemin de service, la robustesse face aux conditions adverses ou aux contextes longs, l’intégrité des données, la sécurité de l’infrastructure, la préparation réglementaire et les risques liés aux systèmes agentiques.
Que signifie la fuite causale ?
Dans un modèle linguistique autorégressif, les représentations ou le comportement des valeurs de probabilité à une position antérieure de la séquence sont censés rester indépendants des tokens futurs qui ne sont pas disponibles à cette position. Une fuite causale se produit lorsque des informations ultérieures ou postérieures au contexte modifient les états cachés, les valeurs de probabilité ou un comportement associé à l’évaluation dans la partie antérieure de la séquence.
AX-Ray distingue ce problème de l’hallucination, de l’échec du refus, de l’injection de commandes et de la contamination des tests. Il s’agit de problèmes importants, mais ils ne décrivent pas le même défaut ; la fuite causale concerne la validité du chemin de calcul du modèle. Selon l’article, ce défaut peut affecter la stabilité du préfixe, la validité des états cachés, la cohérence des valeurs de probabilité, le traitement des séquences par lots ou de manière hybride, la fiabilité de la mise en cache et du service, la confiance dans les contextes longs, la validité de l’évaluation et la sûreté de l’exécution agentique.
Pourquoi les tests de capacités pourraient-ils ne pas la détecter ?
La plupart des classements publics se concentrent sur la fréquence à laquelle le modèle fournit une réponse correcte. Il s’agit d’un signal nécessaire, mais il ne couvre pas toutes les propriétés du comportement interne. La fuite causale peut rester invisible dans les tests de questions-réponses, de mathématiques, de programmation et de suivi des instructions, car ces tests n’observent généralement que la réponse finale.
À l’inverse, AX-Ray examine des propriétés plus profondes, notamment la stabilité du préfixe, la cohérence des chemins de service et la question de savoir si les défaillances critiques doivent l’emporter sur le résultat global des capacités. L’article résume clairement le principe : un niveau élevé de capacités n’implique pas automatiquement la préparation au déploiement.
Un cadre de diagnostic multidimensionnel
AX-Ray organise son travail autour de trois axes de diagnostic et de 11 catégories opérationnelles, avec un catalogue public comprenant 117 entrées diagnostiques. Ces entrées couvrent des questions techniques liées aux éléments probants, à la gravité du problème, à l’orientation de la détection, à l’orientation du traitement et au contexte de gouvernance.
- MODEL-SCAN : examine la validité, la fiabilité, la robustesse, la sûreté, l’intégrité des données, l’efficacité, l’architecture interne et les orientations de traitement du modèle.
- AX-SCAN : se concentre sur le service, l’infrastructure, la sécurité, la conformité et les risques opérationnels.
- AGENT-SCAN : traite les risques du déploiement agentique, tels que les autorisations des outils, le détournement, les boucles, la contamination de la mémoire, le comportement de suppression et la gouvernance de l’autonomie.
Les autres catégories comprennent la sûreté causale et l’intégrité du service, la fiabilité, la robustesse et les contextes longs, la sécurité, la sûreté et l’alignement, l’intégrité des données et la méthodologie d’évaluation, l’efficacité, la quantification et l’architecture, l’architecture interne inspectable et le traitement. L’axe opérationnel comprend également des catégories consacrées à la divergence du service entre les moteurs, à la sécurité de l’infrastructure et à la conformité réglementaire.
Distinguer un défaut du modèle d’un problème de service
AX-Ray enregistre également un résultat audité via l’interface de programmation d’application du modèle upstage/Solar-Open2-250B lorsqu’il est exécuté avec FP8 vLLM. L’exécution a révélé une anomalie reproductible dans l’enregistrement des probabilités des tokens au sein du chemin de service ou de l’interface, mais le cadre ne la présente pas comme une fuite causale confirmée au niveau du modèle.
Selon l’article, les tests D1 et D7, de nature inspectable en interne, restent en attente ; la ligne a donc été marquée official_dhs=false, avec l’indication qu’elle a fait l’objet d’un audit de l’interface de programmation d’application et que l’examen interne n’est pas achevé. Cette séparation constitue un élément central de la méthodologie : une anomalie de service, un problème d’enregistrement des scores via l’interface et une fuite des états cachés au niveau du modèle ne constituent pas une seule et même affirmation.
Transparence et limites de la divulgation
AX-Ray affirme divulguer les lignes du classement, les résumés des diagnostics au niveau des modèles, les scores de haut niveau des catégories, la classification des éléments et la structure de mise en relation avec les juridictions, ainsi que certains rapports publics et les cas spécifiques de fuite causale. En revanche, il ne publie pas les recettes de test privées, les détails des seuils opérationnels, les invites sensibles brutes, les sorties nuisibles brutes, les détails d’implémentation protégés par des brevets, les commandes d’évaluation internes ni les procédures susceptibles d’être transformées en méthodes d’exploitation.
Le projet présente cet équilibre comme une tentative de rendre les diagnostics de sûreté vérifiables sans les transformer en guide permettant de contourner les modèles ou de reproduire un comportement nuisible. Il relie également le catalogue à des contextes de gouvernance en Corée, dans l’Union européenne, aux États-Unis, au Japon, en Chine, aux Émirats arabes unis et en Arabie saoudite, tout en soulignant qu’AX-Ray constitue une orientation diagnostique et non une norme juridique officielle.
L’importance du cas publié réside dans le fait qu’il propose une couche supplémentaire au-dessus des tests de capacités : l’évaluation ne demande pas seulement si le modèle répond correctement, mais aussi si le modèle lui-même, son chemin de service et son environnement agentique sont dignes de confiance lors du déploiement, de l’exploitation et de la gouvernance. Le projet met ses données publiques et son espace diagnostique à disposition via FINAL-Bench/AX-RAY, tandis que les détails des tests privés restent non publiés.