L’architecture des centres de données dédiés à l’intelligence artificielle s’oriente vers des grappes de calcul hétérogènes combinant des unités centrales de traitement (CPUs), des unités de traitement graphique (GPUs), des unités de traitement neuronal (NPUs) et des accélérateurs personnalisés, ainsi que de la mémoire à large bande passante et des technologies d’interconnexion en cuivre et optiques. Cette transition reflète la diversité des tâches liées à l’entraînement et à l’inférence des modèles, notamment avec l’essor des applications d’intelligence artificielle agentique, qui nécessitent un mélange de calculs parallèles, de gestion de l’état, de prise de décision et d’exécution d’appels d’outils.
Ces éléments ont été évoqués lors d’une discussion organisée par Semiconductor Engineering avec Satadal Bhattacharjee d’Arm, Ashish Darbari d’Axiomise, Moshiko Emmer de Cadence, Sharad Chole d’Expedera, Cameron Brunner de Siemens EDA et Sumit Vishwakarma de Synopsys. Cet article constitue la troisième et dernière partie d’une série de discussions consacrée à l’évolution de l’architecture des centres de données dédiés à l’intelligence artificielle.
D’un serveur puissant à un système distribué
Les grappes multiprocesseurs modifient la nature même du problème d’ingénierie. Au lieu de concevoir un seul serveur équilibrant le traitement, la mémoire ainsi que les entrées et sorties, les performances dépendent de la répartition des charges de travail, des modes de communication et de la capacité du réseau d’interconnexion à transférer efficacement les données et à exécuter les opérations de synchronisation.
Les participants ont expliqué que les différents modèles de parallélisme, tels que le Tensor parallel, le data parallel, le context parallel et le pipeline parallel, nécessitent différentes formes de topologie réseau. Le parallélisme par pipeline relie des étapes successives, tandis que le parallélisme tensoriel exige de vastes opérations de réduction, puis une nouvelle diffusion des résultats. Le choix du réseau d’interconnexion devient donc une partie de la définition de la grappe, et non un composant distinct.
L’importance de la mémoire augmente également avec l’ampleur des modèles. En plus des paramètres fixes du modèle, il existe un contexte variable qui dépend du nombre de requêtes traitées et du volume d’informations conservées par le système. C’est pourquoi le coût de la mémoire HBM et la manière dont elle est utilisée constituent deux facteurs influençant l’efficacité des unités GPU, notamment dans les centres de données qui cherchent à accroître le nombre de requêtes traitées par seconde.
Décomposer l’inférence entre des grappes spécialisées
Satadal Bhattacharjee estime que l’une des tendances importantes consiste à décomposer le pipeline d’inférence en étapes distinctes. Le processus commence par l’étape de prefill, qui traite la requête et en détermine les exigences ; il s’agit d’une étape particulièrement intensive en calcul. Vient ensuite l’étape de decode, qui génère la réponse, suivie de l’étape d’exécution des tâches par les agents, comme l’appel d’outils ou l’exécution d’une action donnée.
Dans ce modèle, une grappe de matériel et de logiciels peut être dédiée à l’étape de prefill, une autre à l’étape de decode et une grappe de calcul à l’exécution des tâches des agents, puis ces grappes peuvent être reliées entre elles, généralement au moyen d’Ethernet selon la discussion. Cela permet d’utiliser chaque type de matériel pour la tâche à laquelle il est le mieux adapté, au lieu de faire fonctionner un seul GPU pour exécuter toutes les étapes.
Bhattacharjee a évoqué l’annonce de Nvidia concernant l’utilisation du Groq 3 LPU dans une grappe de prefill, comme exemple du fait que l’inférence peut nécessiter plus d’un type de processeur. Il a également indiqué que DigitalOcean avait annoncé le déploiement d’une architecture d’inférence à cinq couches, conçue pour utiliser des grappes hétérogènes intégrant du matériel d’AMD et de Nvidia, avec la possibilité d’ajouter ultérieurement de nouveaux équipements.
Les logiciels constituent la boucle de coordination
Il ne suffit pas de réunir des CPUs, des GPUs, des NPUs et des accélérateurs dans un même système. Les logiciels doivent connaître les caractéristiques de chaque composant, décider où exécuter chaque étape et coordonner les transferts de données, la planification, l’attente et les points d’accès aux interfaces de programmation. Les unités CPU peuvent prendre en charge les tâches de gestion de l’état, l’orientation des instructions et l’appel d’outils, tandis que les accélérateurs exécutent les calculs intensifs, notamment les opérations de multiplication de matrices liées à l’inférence et au raisonnement.
Les machines virtuelles servent à abstraire les grappes à un niveau supérieur, mais les participants ont décrit les environnements fondés sur des conteneurs, notamment Docker, comme la méthode dominante pour déployer de manière reproductible les composants et les piles d’outils des pilotes GPU. Au-dessus de la couche des conteneurs se trouvent des composants spécialisés pour l’exécution, la coordination, la planification, la gestion des files d’attente, le déploiement des modèles et la mise à disposition des interfaces de programmation.
Les participants ont considéré que la possession d’un écosystème logiciel intégré constituait l’une des raisons de la puissance de Nvidia, l’entreprise ayant investi dans les logiciels pendant plus de 20 ans. Toutefois, le passage à du matériel provenant de plusieurs entreprises impose une couche de coordination capable de gérer cette diversité. Des entreprises telles que Gimlet Labs et Together AI ont été citées comme travaillant à fournir cette couche, notamment pour optimiser le fonctionnement des grappes de prefill, de decode et d’exécution.
L’interconnexion et l’énergie déterminent l’évolutivité
Les options d’interconnexion entre les grappes comprennent Ethernet, InfiniBand et Slingshot, une technologie de réseau à haut débit fondée sur Ethernet et proposée par Hewlett Packard Enterprise. Selon la discussion, Ethernet offre une norme plus largement répandue, tandis que les technologies personnalisées peuvent fournir de meilleures performances dans certains cas, au prix d’une dépendance à l’écosystème d’un fournisseur donné.
L’interconnexion optique suscite également un intérêt croissant. Google utilise des unités TPU avec des liaisons optiques, tandis que des technologies d’optique intégrée au boîtier (co-packaged optics) font actuellement l’objet de recherches. L’attrait des photons réside dans la réduction de la résistance et de la dissipation d’énergie par rapport aux liaisons électriques, ce qui est important dans des grappes déjà confrontées à des problèmes thermiques et au coût du refroidissement.
Au niveau du boîtier, l’intégration de plusieurs puces, de mémoire HBM et de différents composants complexifie les effets thermiques, mécaniques et électriques. La chaleur, la déformation ou les problèmes d’électromigration et d’intégrité du signal peuvent affecter les performances du nœud et de l’ensemble de la grappe. Il n’est donc pas nécessaire de disposer d’une technologie d’interconnexion universelle unique, mais plutôt de couches d’interconnexion compatibles avec chaque niveau, de la liaison entre les puces à l’intérieur du boîtier au réseau de la grappe.
Pourquoi cette tendance est-elle importante ?
La conclusion avancée par Bhattacharjee est que l’énergie constitue le premier problème, tandis que l’efficacité des jetons vient ensuite. Les grappes hétérogènes offrent une voie pour réduire le coût du jeton en adaptant le matériel à la nature de chaque étape, mais cela nécessite des logiciels de coordination matures ainsi que des mesures claires de l’emplacement des données, de la bande passante, de l’état thermique et de la spécialisation de chaque moteur. Comme cet écosystème repose généralement sur des composants provenant de plusieurs entreprises, la construction d’un système fonctionnant efficacement à grande échelle reste un défi d’ingénierie ouvert, et non une simple opération de remplacement d’un GPU par un autre accélérateur.