关注最新报道、解读和相关科技故事。
Hugging Face上发表的一项实验显示，一个包含90万参数的模型在接受200亿个令牌训练时性能达到峰值，随后随着训练持续至1800亿个令牌而逐渐下降。研究结果为超小型模型提出了一个每个参数约2.2万至3万个令牌的实际范围，同时强调在增加预算前必须进行评估。