Suivez les dernières actualités, explications et histoires technologiques associées.
bartowski présente une vaste expérience visant à améliorer les données de calibration utilisées avec imatrix lors de la quantification de modèles via llama.cpp, et conclut que les gains les plus importants apparaissent aux faibles débits binaires, en particulier dans les modèles à mélange d’experts MoE. Le nouveau dataset est plus petit et plus ciblé, mais combine des textes variés et des conversations formatées pour l’utilisation d’outils.