Mixtral 8x7B

Estudo da Georgia Tech propõe ajuste elétrico para reduzir a instabilidade das interconexões ópticas durante o treinamento de modelos MoE

Um artigo de pesquisa do Georgia Institute of Technology analisa o impacto de operações repetidas de ajuste térmico em interconexões ópticas de grande escala usadas para treinar modelos de linguagem baseados na arquitetura Mixture of Experts. Segundo o resumo publicado, a eliminação dos períodos de instabilidade acelerou o treinamento do Mixtral 8x7B em 2,7 vezes no cenário estudado.