imatrix

bartowski 的实验揭示 imatrix 数据的局限及其在 GGUF 模型中多样性的重要性

本文介绍了 bartowski 对 llama.cpp 量化模型所使用的 imatrix 校准数据进行的大规模改进实验，并得出结论：最大的收益出现在低比特率下，尤其是在混合专家（MoE）模型中。新的 dataset 更小、更集中，但结合了多样化文本和经过格式化的工具调用对话。