Acompanhe as últimas notícias, explicações e histórias tecnológicas relacionadas.
bartowski apresenta um experimento amplo para aprimorar os dados de calibração usados com o imatrix ao quantizar modelos por meio do llama.cpp e conclui que os maiores ganhos aparecem em taxas de bits baixas, especialmente em modelos de mistura de especialistas (MoE). O novo dataset é menor e mais focado, mas combina textos diversificados e conversas formatadas para o uso de ferramentas.