bartowski veröffentlichte ein neues Experiment zu den Kalibrierungsdaten, die zur Berechnung von imatrix in GGUF-Modellen verwendet werden. Dabei erklärte er, dass der neue Datensatz keine „magische Lösung“ zur Leistungssteigerung darstellt, in einigen Fällen jedoch begrenzte und wichtige Verbesserungen erzielt und ein tieferes Verständnis dafür vermittelt, wie sich die Art der bei der Quantisierung verwendeten Texte auf das endgültige Modell auswirkt. Der Autor des Experiments erklärt, dass dies nicht das endgültige Ergebnis sei und dass er damit rechne, die Daten weiter zu aktualisieren und zu testen.
Die Experimente wurden in Zusammenarbeit mit Fable und unter Verwendung von GPU-Ressourcen durchgeführt, die von LTT Labs bereitgestellt wurden. bartowski veröffentlichte die verwendeten Dateien öffentlich, darunter zwei separate Dateien für Prosatexte und Unterhaltungen sowie die Texte nach ihrer Verarbeitung mit dem Chat-Template des Modells. Außerdem stellte er ein Skript bereit, das die Erzeugung der formatierten Version erklärt, und wies darauf hin, dass die Qwen-Dateien mit absichtlich hinzugefügten <|endoftext|> -Sequenzen am Ende verfügbar sind, damit das Modell den letzten Teil der Daten nicht ignoriert.
Welche Funktion hat imatrix bei der Quantisierung?
bartowski erklärte, dass der Quantisierungsalgorithmus in llama.cpp versucht, den Fehler zu minimieren, der durch die Umwandlung von Gewichtsgruppen in Darstellungen mit geringerer Genauigkeit entsteht. Um die relative Bedeutung dieser Gewichte einzuschätzen, werden große Textmengen durch das Modell geleitet. Anschließend werden Messwerte der Aktivierungseingangskanäle gesammelt, genauer gesagt die Summe der Quadrate der Aktivierungen, die jeden Tensor erreichen.
Ein Kanal, der über viele Texte hinweg stark und regelmäßig aktiviert wird, wird so behandelt, als seien die mit ihm verbundenen Gewichte für das Endergebnis wichtiger. Ein Kanal, der nur selten aktiviert wird, kann dagegen weniger wichtig erscheinen, wobei weiterhin die Möglichkeit besteht, dass die Daten nicht die richtige Textart enthielten, die ihn aktiviert hätte. Daher hängt das Ergebnis nicht nur von der Größe des Korpus ab, sondern auch von seiner Vielfalt und seiner Fähigkeit, verschiedene Teile des Modells zu aktivieren.
Die Tests umfassten dichte Modelle und Modelle mit mehreren Experten
Das Team testete sieben Modelle: gemma-4-E2B-it, Qwen3.5-4B, Qwen3.6-27B, Qwen3.6-35B-A3B, Mistral-Small-4-119B, Qwen3-Next-80B-A3B und Qwen3.5-397B-A17B. Die Bewertung konzentrierte sich auf den Vergleich der KLD mit bf16, den BFCL-Test sowie eine Reihe kurzer, eigens erstellter Tests und eine Untersuchung der Expertenabdeckung bei MoE-Modellen. Zusätzlich wurden Stichproben aus MMLU-Pro und GSM8K für eine eingehendere Überprüfung verwendet, da die vollständige Durchführung der Tests kostspielig ist.
Das allgemeine Ergebnis war, dass die Daten bei Raten von mehr als etwa 4 Bit pro Gewicht keinen klar erkennbaren erwarteten Unterschied bewirken. Zu den frühen Tests gehörten vollständig zufällige Daten, um einige Hypothesen auszuschließen. Die Unterschiede bei Q4_0, IQ4_XS und darüber blieben jedoch in den meisten Fällen begrenzt, da die Quantisierungsfehler auf diesen Stufen relativ klein sind.
Der größte Unterschied zeigte sich bei den niedrigen Stufen, insbesondere bei Q2_K in MoE-Modellen. Bei der Quantisierung von Qwen3.6-35B ohne imatrix sank die BFCL-Leistung um etwa 28 Punkte, von ungefähr 82 % auf 54 %. Der Unterschied zwischen dem besten und dem schlechtesten Korpus betrug bei diesem Test zudem etwa 10 %. Im Gegensatz dazu lagen die meisten sauberen Daten, die mit IQ2_M verwendet wurden, nahe beieinander; die Unterschiede betrugen meist nicht mehr als wenige Prozentpunkte.
Warum sind Chat-Formatierung und Tool-Nutzung wichtig?
Das Experiment deutet darauf hin, dass die Herausforderung bei MoE-Modellen nicht nur mit der sprachlichen Vielfalt oder der Textqualität zusammenhängt, sondern auch mit der Fähigkeit der Daten, die verschiedenen Experten zu aktivieren. Beim Modell Qwen3-Next-80B-A3B ließ ein englisches Korpus, das speziell für die Tool-Nutzung bestimmt war, 18 von 512 Experten ohne jede Aktivierung, selbst nachdem 3126 Ausschnitte verarbeitet worden waren – also fast das Vierfache der Länge von calibration_datav5.txt.
Durch die Kombination von calibration_datav5.txt mit Daten zu Tool-Aufrufen wurde eine vollständige Expertenabdeckung erreicht. Die Experimente ergaben, dass mehrsprachige und programmierbezogene Inhalte zu den wichtigsten Faktoren gehörten, die zur Aktivierung einiger dieser Experten erforderlich waren. Außerdem schien die Einbeziehung von Unterhaltungen, die gemäß dem Chat-Template formatiert waren, insbesondere bei MoE-Modellen wichtig zu sein, da einige Experten möglicherweise nur aktiviert werden, wenn sie die Symbole und die Struktur einer Unterhaltung sehen.
In der Praxis bedeutet dies, dass die Erstellung einer imatrix für ein Modell, das Unterhaltungen oder Tool-Aufrufe unterstützt, nicht auf zufällige Prosatexte beschränkt sein sollte. Das Fehlen eines Chat-Templates oder von Tool-Beispielen kann dazu führen, dass einige Experten während der Kalibrierung weniger repräsentiert sind, was sich später bei niedrigen Quantisierungsraten in der Leistung zeigen kann.
Wie wurde die neue Version erstellt?
bartowski verwendete eine Analyse auf Ausschnittsebene, um herauszufinden, welche Teile der Daten die Experten am besten aktivieren. Die Ergebnisse zeigten, dass einige Experten nur bei bestimmten Inhaltsarten erscheinen, etwa bei Code, französischen Texten, erzählender Literatur oder wissenschaftlichen Materialien. Daher wurden vielfältige Prosatexte zusammengestellt, um die Expertenabdeckung über die im Test verwendeten MoE-Modelle hinweg zu maximieren.
Hinzu kamen formatierte Unterhaltungen zur Tool-Nutzung aus interstellarninja/hermes_reasoning_tool_use. Ein Verhältnis von 2:3 zwischen Prosa und Unterhaltungen erwies sich in den Tests als beste Zusammensetzung. Nach dem Testen von Versionen mit 400 bis 800 Ausschnitten erzielte die endgültige Version bessere Ergebnisse als deutlich größere Versionen, selbst wenn diese auf derselben Qualität basierten. Der Autor bietet als vorläufige Erklärung an, dass in einem umfangreichen Korpus die häufigsten Inhalte die selteneren, aber wichtigen Signale überdecken könnten.
Er erklärte außerdem, dass die neuen Daten die mehrsprachige Abdeckung nicht verringert hätten. Vielmehr sei der Anteil der in lateinischer Schrift verfassten Texte im Prosateil gesunken, was bedeute, dass nicht-lateinische Sprachen im Vergleich zur Version v5 einen größeren Teil des Korpus ausmachten. Zugleich betonte er, dass weitere Tests noch erforderlich seien.
Der Vergleich zwischen v5 und v6 stellt keine absolute Überlegenheit dar
bartowski verglich die Versionen v5 und v6 beim Erstellen von Qwen3.8-27B unter Verwendung von Perplexity und KLD auf wikitext, HuggingFaceH4/no_robots und Salesforce/xlam-function-calling-60k. Er bezeichnet diese Zahlen als ungefähre Indikatoren und nicht als schlüssigen Beweis, insbesondere weil der Referenzwert der Perplexity für bf16 auf no_robots 19.05 betrug. Bei wikitext verbesserte sich die durchschnittliche KLD mit v6 bei einigen Stufen, etwa bei Q2_K_L um 2,6 % und bei IQ2_M um 1,8 %, verschlechterte sich jedoch bei anderen, etwa bei Q4_K_S um 3,6 % und bei IQ2_S um 3,1 %.
Dieser Vergleich zeigt, dass die Verbesserungen des neuen Datensatzes selektiv sind und keine allgemeine Aufwertung für alle Quantisierungsformate oder alle Testgruppen darstellen. Dies bestätigt die Schlussfolgerung des Autors, dass der Einfluss von imatrix bei niedrigen Bitraten sowie bei Modellen deutlicher ist, die die Arbeit auf eine große Zahl von Experten verteilen.
Der Autor testete außerdem die Verwendung eines Kontexts mit einer Länge von 2048 statt 512 bei der Berechnung von imatrix, stellte jedoch keine Verbesserung der Ergebnisse fest; in vielen Fällen ging die Expertenabdeckung sogar zurück. Ein Vergleich der Kosinusähnlichkeit zwischen den mit bf16 und Q8_0 berechneten imatrix-Ergebnissen zeigte zudem eine Ähnlichkeit von über 99,99 %, wobei einige Ausreißer vorhanden waren.
Die praktische Schlussfolgerung lautet nicht, dass ein einziger Datensatz immer eine bessere Leistung garantiert, sondern dass die Auswahl des Korpus zu einem einstellungswürdigen Faktor geworden ist, insbesondere bei der Quantisierung von MoE-Modellen auf niedrige Stufen. Die neue Version ist zusammen mit ihren Dateien und ihrer Erzeugungsmethode verfügbar, während bartowski sie weiterhin an anderen Modellen testet, darunter Mistral und Qwen3-Next-80B-A3B.