この実験では、ピークに達した時点を過ぎて言語モデルを追加データで訓練すると、性能が低下する。
Hugging Faceで公開された実験では、90万パラメータのモデルは200億トークンで学習した際に性能のピークに達し、その後1800億トークンまで学習を続けると徐々に低下した。結果は、極小規模モデルでは1パラメータあたり2万2000～3万トークンが実用的な範囲であり、予算を増やす前に評価する必要があることを示唆している。