Обучение языковой модели на дополнительных данных после достижения пикового уровня, что приводит к снижению производительности в этом эксперименте.
Опубликованный на Hugging Face эксперимент показывает, что модель с 0,9 миллиона параметров достигла пика производительности при обучении на 20 миллиардах токенов, после чего её показатели постепенно ухудшались по мере продолжения обучения до 180 миллиардов токенов. Результаты предполагают практический диапазон от 22 тысяч до 30 тысяч токенов на параметр для моделей очень малого класса, при этом перед увеличением бюджета необходимо проводить оценку.