Entraîner un modèle linguistique sur des données supplémentaires après le point culminant, ce qui entraîne une baisse des performances dans cette expérience.
Une expérience publiée sur Hugging Face montre qu’un modèle comptant 0,9 million de paramètres a atteint son pic de performances après un entraînement sur 20 milliards de tokens, avant de reculer progressivement à mesure que l’entraînement se poursuivait jusqu’à 180 milliards de tokens. Les résultats suggèrent une fourchette pratique comprise entre 22 000 et 30 000 tokens par paramètre pour les modèles de très petite taille, avec la nécessité de procéder à une évaluation avant d’augmenter le budget.