Une expérience publiée sur le blog de Hugging Face indique que l’entraînement de modèles de langage de très petite taille sur d’énormes volumes de données peut entraîner une baisse des performances au lieu de les améliorer. Dans une expérience menée sur un modèle comptant 0,9 million de paramètres, l’indice INT a atteint son pic lorsque le modèle a été entraîné sur 20 milliards de tokens, soit environ 22 000 tokens par paramètre, puis a progressivement diminué jusqu’à atteindre 3,31 à 180 milliards de tokens, ce qui représente une baisse de 27,3 % par rapport au pic.
L’expérience a été menée par Banaxi de Banaxi-Tech et publiée sous la forme d’un article de la communauté sur Hugging Face le 12 août 2026. Le document se concentre sur une question pratique à laquelle sont confrontés les développeurs de petits modèles : jusqu’à quel point peut-on augmenter le ratio tokens-paramètres avant que l’entraînement supplémentaire ne se transforme en surentraînement nuisible ?
Une expérience avec un ratio d’entraînement inédit
L’expérience reposait sur un modèle extrêmement petit composé de six couches, avec une dimension cachée de 96 et une unité SwiGLU intermédiaire de taille 380, ainsi qu’un GQA configuré en 6Q/2KV, un vocabulaire de 384 tokens et un contexte de 8 000 tokens. L’optimiseur Muon a été utilisé pour les paramètres à deux dimensions, avec un taux d’apprentissage maximal de 7e-2, tandis qu’AdamW a été utilisé pour les autres paramètres, avec un taux d’apprentissage maximal de 4e-3.
L’entraînement a traité 200 milliards de tokens issus des jeux de données FineWeb-HQ et Cosmopedia v2, ce qui équivaut à environ 222 000 tokens par paramètre, soit près de 220 fois le ratio associé à la règle de Chinchilla, qui est d’environ 20 tokens par paramètre. La logique de l’expérience était que le petit vocabulaire, limité à 384 tokens, contient moins d’informations par token qu’un vocabulaire traditionnel de 32 000 tokens, et qu’il laisse également un nombre relativement plus important de paramètres aux couches du transformeur.
Les points de contrôle ont été évalués à l’aide de la suite standard Open SLM, qui comprend ARC-Easy, ARC-Challenge, HellaSwag et PIQA, ainsi que ArithMark-2/3, puis les résultats ont été regroupés dans l’indice INT Index.
Un pic à 20 milliards de tokens, suivi d’un recul continu
L’indice INT Index a enregistré sa valeur la plus élevée, soit 4,55, au point correspondant à 20 milliards de tokens. Il a ensuite diminué à mesure que l’entraînement se poursuivait, pour atteindre 3,31 à 180 milliards de tokens. Selon le document, cette baisse a été continue malgré un certain bruit, et aucun point ultérieur n’a retrouvé le niveau du pic.
Les résultats des tests individuels révèlent la même tendance. En comparant le point à 20 milliards de tokens à celui à 180 milliards, le score d’ARC-Easy est passé de 26,98 à 28,32, mais les résultats ont diminué dans les trois autres tests : PIQA est passé de 53,54 à 52,07, ARC-Challenge de 22,27 à 21,25 et HellaSwag de 29,01 à 28,06. La moyenne a baissé de 32,95 à 32,43.
L’auteur de l’expérience n’a pas attribué le recul directement à la réduction du taux d’apprentissage au cours des 10 derniers pour cent de l’entraînement. Un point situé à environ 160 milliards de tokens, soit 80 % de l’entraînement, a été évalué et a obtenu une moyenne de 32,68, plus proche du résultat final à 180 milliards de tokens que du pic de performance à 40 milliards, dont la moyenne atteignait 33,44. Le document estime donc que la majeure partie des dommages s’était produite avant la phase de réduction du taux d’apprentissage et que raccourcir le calendrier de décroissance sinusoïdale n’aurait pas résolu le problème.
Comparaison avec le ratio traditionnel
L’expérience a également utilisé un point de contrôle correspondant à un entraînement du modèle sur 18 millions de tokens, soit un ratio de Chinchilla d’environ 20 tokens par paramètre. Le modèle a alors obtenu un indice INT de 1,53, avec des performances proches du niveau aléatoire dans les tests : 26,64 dans ARC-Easy, 49,78 dans PIQA, 26,54 dans ARC-Challenge et 24,88 dans HellaSwag.
Cette comparaison fournit une progression des résultats dans cette expérience :
- 20 tokens par paramètre : 18 millions de tokens et un indice INT de 1,53, ce qui indique un sous-entraînement.
- 22 000 tokens par paramètre : 20 milliards de tokens et un indice INT de 4,55, soit le point culminant.
- 200 000 tokens par paramètre : 180 milliards de tokens et un indice INT de 3,31, soit environ 27 % de moins que le pic.
La fourchette pratique proposée
Le document ne conclut pas que tous les ratios d’entraînement élevés nuisent aux petits modèles. Il indique que des ratios proches de 7 000, 15 000 et 22 000 tokens par paramètre ont bien fonctionné sur d’autres modèles communautaires, notamment TinyStories et de petits modèles figurant dans les classements, dont la taille est inférieure à 3 millions de paramètres. Le point de rupture dans cette expérience est apparu bien au-delà de cette fourchette.
Les résultats présentent une progression rapide entre le niveau de 20 tokens par paramètre et le pic : l’indice a augmenté d’environ 0,05 par milliard de tokens entre 10 et 20 milliards de tokens. En revanche, la baisse a été plus lente, d’environ 0,008 par milliard de tokens, mais elle s’est poursuivie sans interruption après le pic.
Sur la base de cette campagne d’entraînement, le document estime que la fourchette optimale en pratique du point de vue du calcul pour un modèle de catégorie Pico, comptant environ un million de paramètres, se situe entre 22 000 et 30 000 tokens par paramètre. La recommandation pratique consiste à commencer l’entraînement avec un petit budget situé dans cette fourchette, puis à évaluer le modèle avant de décider de prolonger l’entraînement. En revanche, augmenter aveuglément le ratio jusqu’à 200 000 tokens par paramètre peut consommer de nombreuses heures d’utilisation de processeurs graphiques pour produire un modèle moins performant que celui obtenu avec environ 20 000 tokens par paramètre.