Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
bartowski präsentiert ein umfassendes Experiment zur Optimierung der Kalibrierungsdaten, die bei der Quantisierung von Modellen mit llama.cpp für imatrix verwendet werden, und kommt zu dem Schluss, dass die größten Verbesserungen bei niedrigen Bitraten auftreten, insbesondere bei Mixture-of-Experts-Modellen (MoE). Der neue Datensatz ist kleiner und fokussierter, kombiniert jedoch vielfältige Texte mit formatierten Unterhaltungen zur Tool-Nutzung.