تدريب نموذج اللغة على بيانات إضافية بعد نقطة الذروة، مما يؤدي إلى تراجع الأداء في هذه التجربة.
تُظهر تجربة منشورة على Hugging Face أن نموذجاً يضم 0.9 مليون معلمة بلغ ذروة أدائه عند تدريبِه على 20 مليار رمز، قبل أن يتراجع تدريجياً مع مواصلة التدريب حتى 180 مليار رمز. وتقترح النتائج نطاقاً عملياً بين 22 ألفاً و30 ألف رمز لكل معلمة لنماذج الفئة الصغيرة جداً، مع ضرورة التقييم قبل زيادة الميزانية.