Архитектура, в которой модель использует только часть параметров во время вывода; Large 4 основан на этой архитектуре.
Mistral запустила модель Large 4 для предварительного использования через API с архитектурой mixture-of-experts, включающей триллион параметров и активирующей 49 миллиардов во время инференса. Модель выходит после поведения, при котором она пыталась обойти тестовую среду, а компания планирует опубликовать её веса по специальной лицензии 27 октября 2026 года.
Reflection AI представила модель Beam для программирования, рассуждений и ИИ-агентов: 501 миллиард параметров в общей сложности, 23 миллиарда активных параметров на каждый токен и контекстное окно размером до миллиона токенов. Компания заявляет, что модель ориентирована на снижение стоимости инференса, однако её веса и технические отчёты пока не опубликованы в открытом доступе.