bartowski a publié une nouvelle expérience consacrée aux données de calibration utilisées pour calculer imatrix dans les modèles GGUF, en expliquant que le nouveau dataset ne représente pas une « solution miracle » pour améliorer les performances, mais qu’il a produit des gains limités et importants dans certains cas, tout en offrant une compréhension plus approfondie de la manière dont le type de textes utilisé lors de la quantification influe sur le modèle final. L’auteur de l’expérience précise qu’il ne s’agit pas du résultat définitif et qu’il prévoit de continuer à mettre à jour les données et à les tester.
Les expériences ont été menées en collaboration avec Fable, avec des ressources GPU fournies par LTT Labs. bartowski a publié les fichiers utilisés, notamment deux fichiers distincts pour les textes en prose et les conversations, ainsi que les textes après leur passage dans le modèle de chat qui leur est propre. Il a également fourni un script expliquant comment générer la version formatée, et indiqué que les fichiers Qwen sont disponibles avec des ajouts intentionnels de chaînes <|endoftext|> à la fin, afin que le modèle ne néglige pas la dernière partie des données.
Quelle est la fonction d’imatrix dans le processus de quantification ?
bartowski a expliqué que l’algorithme de quantification de llama.cpp tente de réduire l’erreur produite par la conversion de groupes de poids en représentations de moindre précision. Pour estimer l’importance relative de ces poids, de grandes quantités de textes sont transmises au modèle, puis des mesures d’activation des canaux d’entrée sont recueillies, plus précisément la somme des carrés des activations qui atteignent chaque tenseur.
Un canal qui s’active fortement et régulièrement à travers de nombreux textes est considéré comme associé à des poids plus importants pour le résultat final. En revanche, un canal qui s’active rarement peut sembler moins important, tout en laissant ouverte la possibilité que les données n’aient pas inclus le type de textes approprié pour le solliciter. Le résultat ne dépend donc pas uniquement de la taille du corpus, mais aussi de sa diversité et de sa capacité à activer les différentes parties du modèle.
Les tests ont porté sur des modèles denses et à mélange de plusieurs experts
L’équipe a testé sept modèles : gemma-4-E2B-it, Qwen3.5-4B, Qwen3.6-27B, Qwen3.6-35B-A3B, Mistral-Small-4-119B, Qwen3-Next-80B-A3B et Qwen3.5-397B-A17B. L’évaluation s’est concentrée sur la comparaison de la KLD avec bf16, sur le test BFCL, ainsi que sur un ensemble de tests courts personnalisés et un examen de la couverture des experts dans les modèles MoE. Des échantillons de MMLU-Pro et de GSM8K ont également été utilisés pour une vérification plus approfondie, en raison du coût d’exécution des tests complets.
Le résultat général était que les données ne produisaient pas de différence clairement prévisible aux débits supérieurs à environ 4 bits par poids. Les premiers tests comprenaient des données totalement aléatoires afin d’écarter certaines hypothèses, mais les écarts observés dans Q4_0, IQ4_XS et les niveaux supérieurs sont restés limités dans la plupart des cas, car les erreurs de quantification à ces niveaux sont relativement faibles.
La différence la plus importante est apparue aux niveaux faibles, en particulier avec Q2_K dans les modèles MoE. Lors de la quantification de Qwen3.6-35B sans imatrix, les performances au BFCL ont chuté d’environ 28 points, passant d’environ 82 % à 54 %. L’écart entre le meilleur et le pire corpus a également atteint environ 10 % dans ce test. En revanche, la plupart des données propres utilisées avec IQ2_M étaient proches les unes des autres, avec des écarts ne dépassant généralement que quelques points de pourcentage.
Pourquoi le formatage des conversations et l’utilisation d’outils sont-ils importants ?
L’expérience indique que le défi posé par les modèles MoE ne tient pas uniquement à la diversité des langues ou à la qualité des textes, mais aussi à la capacité des données à activer les différents experts. Dans le modèle Qwen3-Next-80B-A3B, un corpus anglais spécialisé dans l’utilisation d’outils a laissé 18 experts sur 512 sans aucune activation, même après le passage de 3126 segments, soit près de quatre fois la longueur de calibration_datav5.txt.
La combinaison de calibration_datav5.txt et de données d’appel d’outils a permis d’obtenir une couverture complète des experts. Les expériences ont montré que le contenu multilingue et le code figuraient parmi les principaux facteurs nécessaires à l’activation de certains de ces experts. Il est également apparu que l’inclusion de conversations formatées conformément au chat template était particulièrement importante dans les modèles MoE, car certains experts peuvent ne s’activer qu’à la vue des symboles et de la structure d’une conversation.
Concrètement, cela signifie que la préparation d’une imatrix pour un modèle prenant en charge les conversations ou l’appel d’outils ne devrait pas se limiter à des textes de prose aléatoires. L’absence de chat template ou d’exemples d’outils peut rendre certains experts moins représentés pendant la calibration, ce qui peut ensuite se manifester dans les performances aux faibles niveaux de quantification.
Comment la nouvelle version a-t-elle été construite ?
bartowski a utilisé une analyse au niveau des segments afin de déterminer quelles parties des données activaient le mieux les experts. Les résultats ont montré que certains experts n’apparaissaient qu’avec des types de contenus précis, comme du code, des textes français, de la littérature narrative ou des documents scientifiques. Des textes de prose variés ont donc été rassemblés afin de maximiser la couverture des experts dans les modèles MoE utilisés pour le test.
Des conversations formatées pour l’appel d’outils, tirées de interstellarninja/hermes_reasoning_tool_use, y ont été ajoutées, et un ratio de 2:3 entre la prose et les conversations s’est révélé être la meilleure combinaison au cours des tests. Après avoir testé des versions comprenant entre 400 et 800 segments, la version finale a obtenu de meilleures performances que des versions beaucoup plus volumineuses, même lorsqu’elles reposaient sur la même qualité. L’auteur avance comme explication initiale que, dans un corpus massif, le contenu le plus fréquent peut éclipser les signaux importants mais moins récurrents.
Il a également déclaré que les nouvelles données n’avaient pas réduit la couverture multilingue : la proportion de textes écrits dans l’alphabet latin a diminué dans la partie en prose, ce qui signifie que les langues non latines représentent désormais une part plus importante du corpus par rapport à la version v5, tout en soulignant que des tests supplémentaires restent nécessaires.
La comparaison entre v5 et v6 ne constitue pas une supériorité absolue
bartowski a comparé les versions v5 et v6 lors de la construction de Qwen3.8-27B, en utilisant la perplexité et la KLD sur wikitext, HuggingFaceH4/no_robots et Salesforce/xlam-function-calling-60k. Il décrit ces chiffres comme des indicateurs approximatifs plutôt que comme une preuve concluante, notamment parce que la valeur de perplexité de référence de bf16 sur no_robots s’élevait à 19.05. Sur wikitext, la KLD moyenne s’est améliorée avec v6 à certains niveaux, comme Q2_K_L de 2.6 % et IQ2_M de 1.8 %, mais s’est dégradée à d’autres, comme Q4_K_S de 3.6 % et IQ2_S de 3.1 %.
Cette comparaison montre que les gains du nouveau dataset sont sélectifs et ne constituent pas une amélioration générale pour tous les formats de quantification ni pour tous les ensembles de tests. Cela confirme la conclusion de l’auteur selon laquelle l’effet d’imatrix est plus visible aux faibles débits binaires et dans les modèles qui reposent sur la répartition du travail entre un grand nombre d’experts.
L’auteur a également testé l’utilisation d’un contexte de longueur 2048 au lieu de 512 lors du calcul d’imatrix, mais n’a constaté aucune amélioration des résultats : la couverture des experts a même diminué dans de nombreux cas. Une comparaison de la similarité cosinus entre les résultats d’imatrix calculés à partir de bf16 et de Q8_0 a par ailleurs montré une similarité supérieure à 99.99 %, avec quelques valeurs aberrantes.
La conclusion pratique n’est pas qu’un dataset unique garantira toujours de meilleures performances, mais que le choix du corpus est devenu un facteur méritant d’être ajusté, en particulier lors de la quantification de modèles MoE à de faibles niveaux. La nouvelle version est disponible avec ses fichiers et sa méthode de génération, tandis que bartowski continue de la tester sur d’autres modèles, notamment Mistral et Qwen3-Next-80B-A3B.