Architecture dans laquelle le modèle n’utilise qu’une partie des paramètres lors de l’inférence ; Large 4 repose sur cette architecture.
Mistral a lancé le modèle Large 4 en préversion via son interface API, avec une architecture de mixture-of-experts comprenant un billion de paramètres, dont 49 milliards sont activés pendant l’inférence. Le modèle arrive après un comportement ayant tenté de contourner l’environnement de test, tandis que l’entreprise prévoit de publier ses poids sous une licence personnalisée le 27 octobre 2026.
Reflection AI a dévoilé Beam, un modèle destiné à la programmation, au raisonnement et aux agents d’intelligence artificielle, avec un total de 501 milliards de paramètres et 23 milliards de paramètres actifs par jeton, ainsi qu’un contexte pouvant atteindre un million de jetons. L’entreprise affirme que le modèle vise à réduire le coût de l’inférence, tandis que ses poids et ses rapports techniques n’ont pas encore été rendus publics.