Hugging Faceのブログで公開された実験によると、極めて小規模な言語モデルを膨大なデータで学習すると、性能が向上するどころか低下する可能性がある。90万パラメータのモデルを用いた実験では、モデルを200億トークンで学習した時点でINT指標がピークに達した。これは1パラメータあたり約2万2000トークンに相当する。その後、1800億トークンで3.31まで徐々に低下し、ピークから27.3%下落した。
実験はBanaxi-TechのBanaxiが実施し、2026年8月12日にHugging Faceのコミュニティ記事として公開された。記事は、小規模モデルの開発者が直面する実務的な問い、つまり追加学習が有害な過学習に転じる前に、トークンとパラメータの比率をどこまで高められるのかという問題に焦点を当てている。
前例のない学習比率による実験
実験では、6層、隠れ次元96、平均サイズ380のSwiGLUブロックを備えた極めて小規模なモデルを使用した。さらに、6Q/2KV構成のGQA、384トークンの語彙、8000トークン長のコンテキストを採用した。2次元パラメータには最大学習率7e-2のMuonオプティマイザーを使用し、残りのパラメータには最大学習率4e-3のAdamWを使用した。
学習ではFineWeb-HQとCosmopedia v2の2つのデータセットから2000億トークンを処理した。これは1パラメータあたり約22万2000トークン、つまり約20トークン／パラメータであるChinchilla則に関連する比率の約220倍に相当する。実験の考え方は、384トークンという小さな語彙は3万2000トークンの従来型語彙と比べて各トークンに含まれる情報が少なく、同時にトランスフォーマー層に割り当てられるパラメータの相対数が多くなるというものだった。
チェックポイントは、ARC-Easy、ARC-Challenge、HellaSwag、PIQAに加えてArithMark-2/3を含む標準のOpen SLMスイートで評価し、その結果をINT Indexにまとめた。
200億トークンでピークに達した後、継続的に低下
INT Indexは、200億トークンの時点で最高値4.55を記録した。その後、学習を続けると低下し、1800億トークンで3.31に達した。記事によると、この低下は多少のノイズを伴いながらも継続的に生じ、その後のどの時点でもピーク時の水準を回復しなかった。
個別テストの結果も同じ傾向を示している。200億トークン時点と1800億トークン時点を比較すると、ARC-Easyのスコアは26.98から28.32に上昇したが、他の3つのテストでは低下した。PIQAは53.54から52.07に、ARC-Challengeは22.27から21.25に、HellaSwagは29.01から28.06に低下した。平均値は32.95から32.43に下がった。
実験の著者は、この低下を学習の最後の10%で学習率を下げたことの直接的な結果とは説明していない。学習の約80%に当たる1600億トークン時点のチェックポイントを評価したところ、平均は32.68だった。これは1800億トークン時点の最終結果に近く、平均33.44を記録した400億トークン時点のピークからは遠かった。このことから、情報源は損失の大部分が学習率を下げる段階より前に発生しており、余弦減衰スケジュールを短縮しても問題は解決しなかったと考えている。
従来の比率との比較
同じ実験では、モデルを1800万トークンで学習したチェックポイントも対照として使用した。これはChinchilla比で1パラメータあたり約20トークンに相当する。この時点でモデルのINT指標は1.53となり、テストでは偶然の水準に近い性能を示した。ARC-Easyは26.64、PIQAは49.78、ARC-Challengeは26.54、HellaSwagは24.88だった。
この比較は、今回の実験における結果を段階的に示している。
- 1パラメータあたり20トークン：1800万トークン、INT指標1.53で、学習不足を示す。
- 1パラメータあたり2万2000トークン：200億トークン、INT指標4.55で、ピーク時点。
- 1パラメータあたり20万トークン：1800億トークン、INT指標3.31で、ピークを約27%下回る。
提案される実用的な範囲
記事は、学習比率が高ければすべて小規模モデルに悪影響を与えると結論づけているわけではない。約7000、1万5000、2万2000トークン／パラメータの比率は、TinyStoriesや、300万パラメータ未満の小規模モデル向けリーダーボード上のモデルなど、他のコミュニティモデルで良好に機能したと指摘している。今回の実験で失敗点が現れたのは、その範囲を大きく超えた後だった。
結果は、1パラメータあたり20トークンの水準からピークまで急速に上昇する経路を示している。10億トークンから200億トークンの間では、指標が10億トークンあたり約0.05上昇した。一方、低下はより緩やかで、1億トークンあたり約0.008だったが、ピーク後は途切れることなく続いた。
この学習ラウンドに基づき、情報源は、約100万パラメータのPicoクラスのモデルにおける計算面での最適な実用範囲は、1パラメータあたり2万2000～3万トークンだと推定している。実務上の推奨は、まずこの範囲内の小さな予算で学習を開始し、その後、学習を延長するかどうかを決める前にモデルを評価することだ。1パラメータあたり20万トークンまで盲目的に比率を引き上げると、GPUの稼働に多くの時間を費やした末に、1パラメータあたり約2万トークンで得られたモデルよりも悪いモデルを生成する可能性がある。