Следите за последними материалами, объяснениями и связанными технологическими историями.
Опубликованный на Hugging Face эксперимент показывает, что модель с 0,9 миллиона параметров достигла пика производительности при обучении на 20 миллиардах токенов, после чего её показатели постепенно ухудшались по мере продолжения обучения до 180 миллиардов токенов. Результаты предполагают практический диапазон от 22 тысяч до 30 тысяч токенов на параметр для моделей очень малого класса, при этом перед увеличением бюджета необходимо проводить оценку.