Wafer-Scale Optical Interconnects

Georgia Tech 연구, MoE 모델 훈련 중 광 연결의 반복적인 정체를 줄이기 위한 전기적 튜닝 제안

Georgia Institute of Technology의 연구 논문이 Mixture of Experts 구조 기반 언어 모델 훈련에 사용되는 대규모 광 연결에서 반복적인 열 튜닝 작업이 미치는 영향을 분석한다. 공개된 초록에 따르면, 연구된 시나리오에서 정체 구간을 제거하자 Mixtral 8x7B 훈련이 2.7배 빨라졌다.