关注最新报道、解读和相关科技故事。
Georgia Institute of Technology的一篇研究论文分析了用于训练基于Mixture of Experts架构的语言模型的大规模光互连中反复热调谐操作的影响。根据已发布的摘要，在所研究的场景中，消除停顿使Mixtral 8x7B的训练速度提升了2.7倍。