최고점에 도달한 이후 추가 데이터로 언어 모델을 학습시켜 이 실험에서 성능이 저하되는 현상.
تُظهر تجربة منشورة على Hugging Face أن نموذجاً يضم 0.9 مليون معلمة بلغ ذروة أدائه عند تدريبه على 20 مليار رمز، قبل أن يتراجع تدريجياً مع مواصلة التدريب حتى 180 مليار رمز. وتقترح النتائج نطاقاً عملياً بين 22 ألفاً و30 ألف رمز لكل معلمة لنماذج الفئة الصغيرة جداً، مع ضرورة التقييم قبل زيادة الميزانية.