最新の報道、解説、関連するテクノロジーストーリーを確認できます。
Georgia Institute of Technologyの研究論文は、Mixture of Expertsアーキテクチャに基づく言語モデルのトレーニングに使用される大規模光インターコネクトにおいて、繰り返される熱チューニング処理が及ぼす影響を分析している。公開された要約によると、停止期間を排除することで、検討されたシナリオにおけるMixtral 8x7Bのトレーニングが2.7倍高速化した。