GGUF

L’expérience de bartowski révèle les limites des données imatrix et l’importance de leur diversité dans les modèles GGUF

bartowski présente une vaste expérience visant à améliorer les données de calibration utilisées avec imatrix lors de la quantification de modèles via llama.cpp, et conclut que les gains les plus importants apparaissent aux faibles débits binaires, en particulier dans les modèles à mélange d’experts MoE. Le nouveau dataset est plus petit et plus ciblé, mais combine des textes variés et des conversations formatées pour l’utilisation d’outils.