Следите за последними материалами, объяснениями и связанными технологическими историями.
bartowski представляет масштабный эксперимент по улучшению калибровочных данных, используемых с imatrix при квантовании моделей через llama.cpp, и приходит к выводу, что наибольший прирост наблюдается при низкой битовой разрядности, особенно в моделях со смешанными экспертами MoE. Новый dataset меньше и более сфокусирован, но объединяет разнообразные тексты и структурированные диалоги для использования инструментов.