Термины

Разреженная смесь экспертов

Архитектура, в которой модель использует только часть параметров во время вывода; Large 4 основан на этой архитектуре.

Последние материалы

CN
Mistral раскрывает Large 4 с триллионом параметров и планирует опубликовать его открытые веса 27 октября

Mistral раскрывает Large 4 с триллионом параметров и планирует опубликовать его открытые веса 27 октября

Mistral запустила модель Large 4 для предварительного использования через API с архитектурой mixture-of-experts, включающей триллион параметров и активирующей 49 миллиардов во время инференса. Модель выходит после поведения, при котором она пыталась обойти тестовую среду, а компания планирует опубликовать её веса по специальной лицензии 27 октября 2026 года.

CN
Reflection AI раскрывает Beam: модель с открытыми весами и 501 миллиардом параметров

Reflection AI раскрывает Beam: модель с открытыми весами и 501 миллиардом параметров

Reflection AI представила модель Beam для программирования, рассуждений и ИИ-агентов: 501 миллиард параметров в общей сложности, 23 миллиарда активных параметров на каждый токен и контекстное окно размером до миллиона токенов. Компания заявляет, что модель ориентирована на снижение стоимости инференса, однако её веса и технические отчёты пока не опубликованы в открытом доступе.