Thermal Tuning Overhead

Une étude de Georgia Tech propose un réglage électrique pour réduire les blocages des interconnexions optiques pendant l’entraînement de modèles MoE

Un article de recherche du Georgia Institute of Technology analyse l’effet des opérations répétées de réglage thermique dans les interconnexions optiques à grande échelle utilisées pour entraîner des modèles de langage fondés sur l’architecture Mixture of Experts. Selon le résumé publié, la suppression des périodes de blocage a accéléré de 2,7 fois l’entraînement de Mixtral 8x7B dans le scénario étudié.