Entrenamiento de un modelo de lenguaje con datos adicionales después del punto máximo, lo que provoca una disminución del rendimiento en este experimento.
Un experimento publicado en Hugging Face muestra que un modelo con 0,9 millones de parámetros alcanzó su máximo rendimiento al entrenarse con 20.000 millones de tokens, antes de deteriorarse gradualmente mientras el entrenamiento continuaba hasta los 180.000 millones de tokens. Los resultados sugieren un rango práctico de entre 22.000 y 30.000 tokens por parámetro para modelos de la categoría ultrapequeña, junto con la necesidad de realizar una evaluación antes de aumentar el presupuesto.