Следите за последними материалами, объяснениями и связанными технологическими историями.
В исследовательской работе Georgia Institute of Technology анализируется влияние повторяющихся операций термической настройки в крупномасштабных оптических соединениях, используемых для обучения языковых моделей на основе архитектуры Mixture of Experts. Согласно опубликованному резюме, устранение задержек ускорило обучение Mixtral 8x7B в 2,7 раза в рассмотренном сценарии.