Suivez les dernières actualités, explications et histoires technologiques associées.
Les centres de données s’orientent vers des grappes hétérogènes combinant des CPUs, des GPUs, des NPUs, des accélérateurs personnalisés et des interconnexions optiques, plutôt que de s’appuyer sur un seul GPU pour toutes les tâches. Cette transition fait des logiciels ainsi que de la gestion des réseaux et de l’énergie des facteurs essentiels pour réduire le coût des jetons et améliorer l’utilisation du matériel.
La start-up Etched a levé 700 millions de dollars pour une valorisation de 21 milliards de dollars, après que Jane Street a testé le premier système d’intelligence artificielle complet livré par l’entreprise et l’a acheté pour l’exploiter dans son centre de données. Ce financement reflète le pari sur les conceptions de l’entreprise visant à accélérer l’inférence des modèles d’intelligence artificielle et à en réduire le coût.
Sharad Chol, d’Expedera, analyse comment le passage des appareils périphériques des réseaux de vision traditionnels aux modèles LLM et VLM modifie la nature du goulet d’étranglement, qui passe de la puissance de calcul aux mouvements de mémoire. Il présente le rôle du traitement fondé sur les paquets dans la réduction des transferts de données externes et l’amélioration de l’exécution des modèles dans les voitures et les appareils embarqués.