GGUF

El experimento de bartowski revela los límites de los datos de imatrix y la importancia de su diversidad en los modelos GGUF

bartowski presenta un amplio experimento para mejorar los datos de calibración utilizados con imatrix al cuantizar modelos mediante llama.cpp, y concluye que las mayores ganancias aparecen con tasas de bits bajas, especialmente en modelos de expertos múltiples MoE. El nuevo dataset es más pequeño y específico, pero combina textos diversos y conversaciones formateadas para el uso de herramientas.