bartowski publicou um novo experimento sobre os dados de calibração usados para calcular o imatrix em modelos GGUF, explicando que o novo dataset não representa uma “solução mágica” para melhorar o desempenho, mas obteve ganhos limitados e importantes em alguns casos e proporcionou uma compreensão mais profunda de como o tipo de texto usado na quantização afeta o modelo final. O autor do experimento afirma que este não é o resultado final e que espera continuar atualizando e testando os dados.
Os experimentos foram realizados em colaboração com a Fable, usando recursos de GPU fornecidos pela LTT Labs. bartowski publicou abertamente os arquivos utilizados, incluindo dois arquivos separados para textos em prosa e conversas, além dos textos após serem processados pelo template de conversa específico do modelo. Também disponibilizou um script que explica como gerar a versão formatada e observou que os arquivos do Qwen estão disponíveis com inserções intencionais de sequências <|endoftext|> no final, para que o modelo não ignore a parte final dos dados.
Qual é a função do imatrix no processo de quantização?
bartowski explicou que o algoritmo de quantização do llama.cpp tenta reduzir o erro resultante da conversão de conjuntos de pesos em representações de menor precisão. Para estimar a importância relativa desses pesos, grandes quantidades de texto são passadas pelo modelo e, em seguida, são agregadas medições da ativação dos canais de entrada, mais precisamente a soma dos quadrados das ativações que chegam a cada tensor.
Um canal que é ativado de forma intensa e regular em muitos textos é tratado como aquele cujos pesos associados são mais importantes para o resultado final. Já um canal que raramente é ativado pode parecer menos importante, embora permaneça a possibilidade de que os dados não tenham incluído o tipo correto de texto capaz de acioná-lo. Portanto, o resultado não depende apenas do tamanho do corpus, mas também de sua diversidade e de sua capacidade de ativar as diferentes partes do modelo.
Os testes incluíram modelos densos e de mistura de especialistas
A equipe testou sete modelos: gemma-4-E2B-it, Qwen3.5-4B, Qwen3.6-27B, Qwen3.6-35B-A3B, Mistral-Small-4-119B, Qwen3-Next-80B-A3B e Qwen3.5-397B-A17B. A avaliação se concentrou na comparação do KLD com bf16, no teste BFCL, além de um conjunto de testes curtos personalizados e de uma verificação da cobertura de especialistas em modelos MoE. Também foram usadas amostras do MMLU-Pro e do GSM8K para uma verificação mais aprofundada, devido ao custo de executar os testes completos.
O resultado geral foi que os dados não produzem uma diferença claramente esperada em taxas superiores a cerca de 4 bits por peso. Os testes iniciais incluíram dados totalmente aleatórios para eliminar algumas hipóteses, mas as diferenças em Q4_0, IQ4_XS e níveis superiores permaneceram limitadas na maioria dos casos, porque os erros de quantização nesses níveis são relativamente pequenos.
A maior diferença apareceu nos níveis baixos, especialmente no Q2_K em modelos MoE. Ao quantizar o Qwen3.6-35B sem imatrix, o desempenho no BFCL caiu cerca de 28 pontos, de aproximadamente 82% para 54%. A diferença entre o melhor e o pior corpus nesse teste também chegou a cerca de 10%. Por outro lado, a maioria dos dados limpos usados com IQ2_M apresentou resultados próximos, com diferenças geralmente não superiores a alguns pontos percentuais.
Por que o formato de conversa e o uso de ferramentas são importantes?
O experimento indica que o desafio nos modelos MoE não está relacionado apenas à diversidade linguística ou à qualidade dos textos, mas também à capacidade dos dados de ativar diferentes especialistas. No modelo Qwen3-Next-80B-A3B, um corpus em inglês específico para uso de ferramentas deixou 18 especialistas, de um total de 512, sem qualquer ativação, mesmo após a passagem de 3126 segmentos, o que corresponde a aproximadamente quatro vezes o comprimento de calibration_datav5.txt.
Ao combinar calibration_datav5.txt com dados de chamadas de ferramentas, foi obtida cobertura completa dos especialistas. Os experimentos constataram que o conteúdo multilíngue e de programação estava entre os principais fatores necessários para ativar alguns desses especialistas. Também pareceu que a inclusão de conversas estruturadas de acordo com um chat template era particularmente importante nos modelos MoE, pois alguns especialistas podem só ser ativados ao ver os tokens e a estrutura da conversa.
Na prática, isso significa que a preparação do imatrix para um modelo compatível com conversas ou chamadas de ferramentas não deve se limitar a textos aleatórios em prosa. A ausência do template de conversa ou de exemplos de ferramentas pode fazer com que alguns especialistas sejam menos representados durante a calibração, algo que pode aparecer posteriormente no desempenho em taxas de quantização baixas.
Como a nova versão foi construída?
bartowski usou uma análise em nível de segmentos para descobrir quais partes dos dados ativavam melhor os especialistas. Os resultados mostraram que alguns especialistas só aparecem com tipos específicos de conteúdo, como código, textos em francês, literatura ficcional ou materiais científicos. Por isso, foram reunidos textos em prosa diversificados com o objetivo de maximizar a cobertura dos especialistas nos modelos MoE usados no teste.
Também foram adicionadas conversas formatadas para chamadas de ferramentas, obtidas de interstellarninja/hermes_reasoning_tool_use, e a proporção de 2:3 entre prosa e conversas foi considerada a melhor combinação nos testes. Após experimentar versões com tamanhos entre 400 e 800 segmentos, a versão final obteve desempenho melhor que versões muito maiores, mesmo quando construídas com base na mesma qualidade. O autor propõe como explicação inicial que, em um corpus enorme, o conteúdo mais comum pode ofuscar sinais importantes que aparecem com menor frequência.
Ele também afirmou que os novos dados não reduziram a cobertura multilíngue; a proporção de textos escritos no alfabeto latino diminuiu na parte em prosa, o que significa que os idiomas não latinos passaram a representar uma parcela maior do corpus em comparação com a versão v5, embora ainda sejam necessários testes adicionais.
A comparação entre v5 e v6 não representa uma superioridade absoluta
bartowski comparou as versões v5 e v6 ao construir o Qwen3.8-27B, usando perplexity e KLD em wikitext, HuggingFaceH4/no_robots e Salesforce/xlam-function-calling-60k. Ele descreve esses números como indicadores aproximados, e não como evidências conclusivas, especialmente porque o valor de referência da perplexity do bf16 em no_robots foi de 19.05. No wikitext, a média do KLD melhorou com a v6 em alguns níveis, como Q2_K_L em 2,6% e IQ2_M em 1,8%, mas piorou em outros, como Q4_K_S em 3,6% e IQ2_S em 3,1%.
Essa comparação mostra que os ganhos do novo dataset são seletivos, e não uma atualização geral para todos os formatos de quantização ou todos os conjuntos de teste. Isso reforça a conclusão do autor de que o efeito do imatrix é mais evidente em taxas de bits baixas e em modelos que dependem da distribuição do trabalho entre um grande número de especialistas.
O autor também testou o uso de um contexto de comprimento 2048, em vez de 512, durante o cálculo do imatrix, mas não observou melhora nos resultados; em muitos casos, a cobertura dos especialistas chegou a diminuir. Uma comparação da similaridade de cosseno entre os resultados do imatrix calculados a partir de bf16 e Q8_0 também mostrou uma similaridade superior a 99,99%, com a presença de alguns valores discrepantes.
A conclusão prática não é que um único dataset sempre garantirá melhor desempenho, mas que a escolha do corpus se tornou um fator que merece ajuste, especialmente ao quantizar modelos MoE para níveis baixos. A nova versão está disponível com seus arquivos e seu método de geração, enquanto bartowski continua testando-a em outros modelos, entre eles Mistral e Qwen3-Next-80B-A3B.