Termes

Mixture of Experts

Suivez les dernières actualités, explications et histoires technologiques associées.

Dernières actualités

CN
Meta lance le modèle Muse Spark Open doté de 816 milliards de paramètres, exécutable localement sur deux Mac Studio

Meta lance le modèle Muse Spark Open doté de 816 milliards de paramètres, exécutable localement sur deux Mac Studio

Meta a lancé le modèle d’intelligence artificielle à poids ouverts Muse Spark Open, conçu pour la programmation et les tâches agentiques de longue durée. Il peut être exécuté localement sur deux Mac Studio équipés de processeurs M5 Ultra et disposant au total de 1 téraoctet de mémoire unifiée. Bien que ses poids soient disponibles au téléchargement, le modèle est soumis à la licence de Meta, qui impose des restrictions commerciales pour certains usages.

CN
JetBrains lance Mellum2.1, un modèle ouvert rapide pour les agents de programmation

JetBrains lance Mellum2.1, un modèle ouvert rapide pour les agents de programmation

JetBrains a lancé le modèle ouvert Mellum2.1 sous licence Apache 2.0, en mettant l’accent sur l’exécution locale d’agents de programmation et d’agents secondaires, ou sur l’infrastructure propre à l’utilisateur. Cette version repose sur un entraînement par apprentissage par renforcement au sein d’environnements logiciels réels, avec d’importantes améliorations dans la gestion des dépôts de code et la vitesse d’inférence.

CN
GitHub Copilot décidera automatiquement entre l’exécution locale et l’exécution dans le cloud

GitHub Copilot décidera automatiquement entre l’exécution locale et l’exécution dans le cloud

GitHub prévoit d’étendre Copilot afin qu’il oriente automatiquement les tâches de programmation vers des modèles locaux ou cloud, mais Microsoft n’a pas encore précisé quelle quantité de contexte des dépôts pourrait quitter l’appareil du développeur ni comment cette orientation pourrait être limitée.

CN
Mistral AI dévoile Mistral Large 4, doté d’une architecture comprenant un billion de paramètres

Mistral AI dévoile Mistral Large 4, doté d’une architecture comprenant un billion de paramètres

Mistral AI a annoncé son modèle multimodal Mistral Large 4, qui comprend un billion de paramètres, dont 49 milliards sont actifs à chaque opération. Le modèle cible la programmation, les agents intelligents, la cybersécurité et les usages institutionnels, avec une préversion publique et un projet de publication de ses poids avant la fin du mois d’octobre.

CN
Guide pratique pour comprendre le langage de l’intelligence artificielle : des modèles linguistiques au « raisonnement opaque »

Guide pratique pour comprendre le langage de l’intelligence artificielle : des modèles linguistiques au « raisonnement opaque »

Cet article rassemble et explique un large éventail de termes devenus essentiels pour comprendre les modèles d’intelligence artificielle, leur architecture, ainsi que leurs méthodes d’entraînement et de fonctionnement. Il met également en lumière des concepts plus récents tels que les agents, le protocole MCP et le raisonnement opaque, tout en clarifiant les limites et les risques qui leur sont associés.

CN
Tencent lance le modèle open source Hy4 Preview doté de 770 milliards de paramètres

Tencent lance le modèle open source Hy4 Preview doté de 770 milliards de paramètres

Tencent a annoncé la mise à disposition en open source du modèle Hy4 Preview, avec une fenêtre de contexte dépassant un million de tokens et la capacité d’activer 49 milliards de paramètres à chaque opération. L’entreprise affirme que le modèle a surpassé GLM-5.3 et Kimi K3 lors d’un test interne à l’aveugle, mais les résultats restent limités à l’évaluation de Tencent et le modèle demeure une version préliminaire.

CN
Une étude de Georgia Tech propose un réglage électrique pour réduire les blocages des interconnexions optiques pendant l’entraînement de modèles MoE

Une étude de Georgia Tech propose un réglage électrique pour réduire les blocages des interconnexions optiques pendant l’entraînement de modèles MoE

Un article de recherche du Georgia Institute of Technology analyse l’effet des opérations répétées de réglage thermique dans les interconnexions optiques à grande échelle utilisées pour entraîner des modèles de langage fondés sur l’architecture Mixture of Experts. Selon le résumé publié, la suppression des périodes de blocage a accéléré de 2,7 fois l’entraînement de Mixtral 8x7B dans le scénario étudié.

CN
Z.ai révèle l’identité du modèle Ox Alpha et le rend disponible en poids ouverts sous le nom de GLM-5.3-Flash

Z.ai révèle l’identité du modèle Ox Alpha et le rend disponible en poids ouverts sous le nom de GLM-5.3-Flash

Z.ai a confirmé que le mystérieux modèle Ox Alpha lui appartenait et l’a lancé sous le nom de GLM-5.3-Flash, en rendant ses poids disponibles via Hugging Face. Le modèle cible la programmation et les tâches agentiques de longue durée, et repose sur 320 milliards de paramètres, dont environ 18 milliards sont activés pour chaque requête, avec un contexte pouvant atteindre un million de tokens.

CN
L’expérience de bartowski révèle les limites des données imatrix et l’importance de leur diversité dans les modèles GGUF

L’expérience de bartowski révèle les limites des données imatrix et l’importance de leur diversité dans les modèles GGUF

bartowski présente une vaste expérience visant à améliorer les données de calibration utilisées avec imatrix lors de la quantification de modèles via llama.cpp, et conclut que les gains les plus importants apparaissent aux faibles débits binaires, en particulier dans les modèles à mélange d’experts MoE. Le nouveau dataset est plus petit et plus ciblé, mais combine des textes variés et des conversations formatées pour l’utilisation d’outils.

CN
Writer lance Palmyra X6 pour réduire de 52 % le coût des agents d’intelligence artificielle

Writer lance Palmyra X6 pour réduire de 52 % le coût des agents d’intelligence artificielle

Writer a annoncé son nouveau modèle Palmyra X6, ainsi qu’une couche d’orchestration repensée et des outils de gouvernance permettant de surveiller la consommation de jetons et les dépenses des agents. L’entreprise affirme que l’association du modèle et de la plateforme réduit les coûts de 52 % en moyenne, tout en améliorant la vitesse de 48 % et la qualité de 10 %.