Mixtral 8x7B

Studie von Georgia Tech schlägt elektrische Abstimmung vor, um das Stocken optischer Verbindungen beim Training von MoE-Modellen zu reduzieren

Eine Forschungsarbeit des Georgia Institute of Technology analysiert die Auswirkungen wiederholter thermischer Abstimmungsvorgänge in großskaligen optischen Verbindungen, die zum Training von Sprachmodellen auf Basis der Mixture-of-Experts-Architektur verwendet werden. Laut der veröffentlichten Zusammenfassung beschleunigte die Beseitigung der Stockungsphasen das Training von Mixtral 8x7B im untersuchten Szenario um das 2,7-Fache.