最新の報道、解説、関連するテクノロジーストーリーを確認できます。
Hugging Faceで公開された実験では、90万パラメータのモデルは200億トークンで学習した際に性能のピークに達し、その後1800億トークンまで学習を続けると徐々に低下した。結果は、極小規模モデルでは1パラメータあたり2万2000～3万トークンが実用的な範囲であり、予算を増やす前に評価する必要があることを示唆している。