Mixtral 8x7B

Georgia Tech研究提出电调方案，以减少MoE模型训练期间光互连的停顿

Georgia Institute of Technology的一篇研究论文分析了用于训练基于Mixture of Experts架构的语言模型的大规模光互连中反复热调谐操作的影响。根据已发布的摘要，在所研究的场景中，消除停顿使Mixtral 8x7B的训练速度提升了2.7倍。