Термины

Mixture of Experts

Следите за последними материалами, объяснениями и связанными технологическими историями.

Последние материалы

CN
Meta запускает модель Muse Spark Open с 816 миллиардами параметров, работающую локально на двух Mac Studio

Meta запускает модель Muse Spark Open с 816 миллиардами параметров, работающую локально на двух Mac Studio

Meta запустила модель искусственного интеллекта с открытыми весами Muse Spark Open, предназначенную для программирования и долгосрочных агентских задач. Её можно запускать локально на двух устройствах Mac Studio с процессорами M5 Ultra и совокупным объёмом объединённой памяти 1 ТБ. Несмотря на доступность весов для скачивания, модель распространяется по лицензии Meta, которая ограничивает коммерческое использование в некоторых случаях.

CN
JetBrains выпускает Mellum2.1 — быструю открытую модель для программных агентов

JetBrains выпускает Mellum2.1 — быструю открытую модель для программных агентов

JetBrains выпустила открытую модель Mellum2.1 по лицензии Apache 2.0, ориентированную на локальный запуск программных агентов и субагентов или их работу на собственной инфраструктуре пользователя. Версия основана на обучении с подкреплением в реальных программных средах и включает значительные улучшения в работе с репозиториями кода и скорости вывода.

CN
GitHub Copilot будет автоматически выбирать между локальным и облачным выполнением

GitHub Copilot будет автоматически выбирать между локальным и облачным выполнением

GitHub намерена расширить Copilot, чтобы он автоматически направлял задачи программирования к локальным или облачным моделям, однако Microsoft пока не уточнила, какой объём контекста репозитория может покидать устройство разработчика и как можно ограничить такое перенаправление.

CN
Mistral AI представляет Mistral Large 4 с архитектурой, включающей триллион параметров

Mistral AI представляет Mistral Large 4 с архитектурой, включающей триллион параметров

Mistral AI объявила о выпуске мультимодальной модели Mistral Large 4, включающей триллион параметров, из которых 49 миллиардов активны в каждой операции. Модель предназначена для программирования, интеллектуальных агентов, кибербезопасности и корпоративного использования; компания предоставила публичную предварительную версию и планирует опубликовать её веса до конца октября.

CN
Практическое руководство по пониманию языка искусственного интеллекта: от языковых моделей до «непрозрачного рассуждения»

Практическое руководство по пониманию языка искусственного интеллекта: от языковых моделей до «непрозрачного рассуждения»

Материал объединяет и объясняет широкий набор терминов, ставших основополагающими для понимания моделей искусственного интеллекта, их архитектуры, а также способов их обучения и эксплуатации. В нём также освещаются более новые понятия, такие как агенты, протокол MCP и непрозрачное рассуждение, с разъяснением связанных с ними ограничений и рисков.

CN
Tencent запускает открытую модель Hy4 Preview с 770 миллиардами параметров

Tencent запускает открытую модель Hy4 Preview с 770 миллиардами параметров

Tencent объявила о выпуске открытой модели Hy4 Preview с контекстным окном объёмом более миллиона токенов и возможностью активировать 49 миллиардов параметров в каждой операции. Компания утверждает, что в слепом внутреннем тесте модель превзошла GLM-5.3 и Kimi K3, однако результаты ограничены оценкой Tencent, а сама модель является предварительной версией.

CN
Исследование Georgia Tech предлагает электрическую настройку для сокращения задержек в оптических соединениях при обучении моделей MoE

Исследование Georgia Tech предлагает электрическую настройку для сокращения задержек в оптических соединениях при обучении моделей MoE

В исследовательской работе Georgia Institute of Technology анализируется влияние повторяющихся операций термической настройки в крупномасштабных оптических соединениях, используемых для обучения языковых моделей на основе архитектуры Mixture of Experts. Согласно опубликованному резюме, устранение задержек ускорило обучение Mixtral 8x7B в 2,7 раза в рассмотренном сценарии.

CN
Z.ai enthüllt die Identität des Modells Ox Alpha und stellt es unter dem Namen GLM-5.3-Flash mit offenen Gewichten bereit

Z.ai enthüllt die Identität des Modells Ox Alpha und stellt es unter dem Namen GLM-5.3-Flash mit offenen Gewichten bereit

Z.ai bestätigte, dass das mysteriöse Modell Ox Alpha von dem Unternehmen stammt, und veröffentlichte es unter dem Namen GLM-5.3-Flash mit Gewichten über Hugging Face. Das Modell richtet sich an Programmier- und langfristige Agentenaufgaben und basiert auf 320 Milliarden Parametern, von denen pro Anfrage etwa 18 Milliarden aktiviert werden; der Kontext umfasst bis zu eine Million Token.

CN
Эксперимент bartowski выявляет ограничения данных imatrix и важность их разнообразия для моделей GGUF

Эксперимент bartowski выявляет ограничения данных imatrix и важность их разнообразия для моделей GGUF

bartowski представляет масштабный эксперимент по улучшению калибровочных данных, используемых с imatrix при квантовании моделей через llama.cpp, и приходит к выводу, что наибольший прирост наблюдается при низкой битовой разрядности, особенно в моделях со смешанными экспертами MoE. Новый dataset меньше и более сфокусирован, но объединяет разнообразные тексты и структурированные диалоги для использования инструментов.

CN
Writer запускает Palmyra X6 для снижения стоимости ИИ-агентов на 52%

Writer запускает Palmyra X6 для снижения стоимости ИИ-агентов на 52%

Writer объявила о выпуске своей новой модели Palmyra X6, а также переработанного orchestration-слоя и инструментов управления для мониторинга потребления агентами токенов и расходов. Компания утверждает, что сочетание модели и платформы снижает затраты в среднем на 52%, повышает скорость на 48%, а качество — на 10%.