在达到峰值后继续使用额外数据训练语言模型，导致本次实验中的性能下降。
Hugging Face上发表的一项实验显示，一个包含90万参数的模型在接受200亿个令牌训练时性能达到峰值，随后随着训练持续至1800亿个令牌而逐渐下降。研究结果为超小型模型提出了一个每个参数约2.2万至3万个令牌的实际范围，同时强调在增加预算前必须进行评估。