imatrix

Experimento de bartowski revela os limites dos dados do imatrix e a importância de sua diversidade nos modelos GGUF

bartowski apresenta um experimento amplo para aprimorar os dados de calibração usados com o imatrix ao quantizar modelos por meio do llama.cpp e conclui que os maiores ganhos aparecem em taxas de bits baixas, especialmente em modelos de mistura de especialistas (MoE). O novo dataset é menor e mais focado, mas combina textos diversificados e conversas formatadas para o uso de ferramentas.