Les centres de données se dirigent vers une refonte de leur infrastructure afin d’accueillir des racks susceptibles de consommer jusqu’à un mégawatt, sous l’effet de la croissance des charges de travail liées à l’intelligence artificielle, devenues plus continues et plus intensives en énergie. Mais cette tendance ne tranche pas le débat sur la meilleure manière de passer à l’échelle : faut-il entasser davantage d’unités de traitement dans des racks à très haute densité, ou redistribuer le calcul au sein d’une infrastructure plus dispersée ?
Semiconductor Engineering estime que le passage à des racks d’un mégawatt ne se limite pas à augmenter le nombre d’accélérateurs, mais impose des changements fondamentaux dans le refroidissement, l’acheminement de l’énergie, la conception des racks, l’interconnexion réseau et le packaging tridimensionnel des circuits intégrés. Parallèlement, l’optique, les puces spécialisées et l’informatique distribuée pourraient réduire la nécessité de concentrer toute cette puissance dans un même espace.
D’un conteneur pour serveurs à un système informatique intégré
Google, Meta et Microsoft travaillent au sein du projet Mount Diablo de l’OCP, fondé sur le framework Diablo, afin de définir des normes prenant en charge les racks de mégawatt. La collaboration couvre notamment la structure mécanique des racks, le refroidissement, la gestion des liquides, la circulation de l’eau et les sources d’alimentation, chaque fournisseur de services cloud conservant toutefois sa propre voie de mise en œuvre.
Arif Khan, de Cadence, souligne que le rack n’est plus une simple structure passive accueillant un ensemble de serveurs. L’augmentation de la densité de calcul et du nombre de connexions électriques et de signaux, conjuguée à la hausse de la taille et de la consommation des unités GPU, fait du rack une unité de conception intégrée comprenant le refroidissement liquide, les étagères d’alimentation, les barres omnibus, les commutateurs réseau et la gestion du système. Cette approche apparaît dans des plateformes au niveau du rack, comme Nvidia DGX.
Google propose une distribution électrique en courant continu à ±400 volts au sein du centre de données, en s’appuyant sur des technologies et une expertise développées pour l’industrie des véhicules électriques. L’augmentation de la tension de distribution contribue à réduire le courant, les pertes et la complexité du câblage lors du traitement d’une puissance pouvant atteindre un mégawatt.
Sur le plan mécanique, la conception Open Rack Wide, ou ORW, étend les capacités de l’architecture de l’Open Compute Project afin d’accueillir des systèmes d’intelligence artificielle plus grands, plus lourds et plus denses sur le plan énergétique. L’ORW est environ deux fois plus large qu’un rack ORV3, avec des renforts structurels supplémentaires. AMD utilise cette approche dans l’architecture Helios, fondée sur la spécification ORW présentée par Meta à l’OCP en 2025, tandis que Nvidia place les systèmes DGX au niveau du rack dans des dimensions de racks plus traditionnelles.
Packaging tridimensionnel et défis liés à l’alimentation
À mesure que la densité augmente, la conception des 3D-IC devient plus importante. L’article cite Daniel Wilkinson, de Synopsys, selon lequel les grands fournisseurs de services cloud étudient l’empilement des dies de calcul, avec des possibilités comprenant l’augmentation du nombre de dies sur l’interposeur ou l’empilement de deux dies. Ces architectures accroissent toutefois les complexités mécaniques, les défis liés au rendement de fabrication et la difficulté à transférer des données sur de grandes distances.
Les solutions peuvent varier selon la nature du processeur. Certaines conceptions, comme le TPU de Google, reposent sur une grande matrice de calcul, tandis que d’autres s’orientent vers un plus grand nombre de cœurs plus petits, à la manière d’un GPU. Il en résulte des différences dans les méthodes d’empilement, les exigences relatives aux adresses d’interconnexion et l’IP de base.
La densité énergétique des racks est passée d’environ 4 kilowatts il y a 20 ans à plus de 100 kilowatts aujourd’hui, selon Steven Woo de Rambus. Avec le passage de 12 volts à 48 volts, voire à 480 ou 800 volts, il devient possible de faire transiter la même puissance avec un courant plus faible, ce qui réduit la nécessité d’utiliser des conducteurs en cuivre plus épais.
Christian Hoefling, d’Infineon Technologies, avertit que les courants de pointe des unités GPU pourraient atteindre 10 000 ampères par unité à la fin de cette décennie, contre des niveaux nettement inférieurs dans les précédents systèmes CPU. Les pertes d’énergie étant proportionnelles au carré du courant, doubler le courant tout en maintenant la résistance de connexion constante entraîne une forte augmentation des pertes. Les centres de données de niveau gigawatt devraient donc passer à une distribution électrique en courant continu haute tension afin de réduire les étapes de conversion et de simplifier l’acheminement de l’énergie vers les racks.
Le rack à plus haute densité est-il la seule voie ?
Tous les participants au débat ne s’accordent pas à dire que l’augmentation de la puissance des racks constitue la meilleure voie de passage à l’échelle. Steve Roddy, de Quadric, estime que l’association de puces plus spécialisées et le retour à certaines formes d’informatique distribuée pourraient réduire la densité énergétique des centres de données. Les puces spécialisées dans l’entraînement ou l’inférence peuvent offrir davantage d’inférences par watt, tandis que la génération de jetons peut être distribuée à des millions de foyers et d’entreprises en parallèle avec les modèles centralisés.
Ayar Labs, selon Vishal Chandrasekar, parie sur le fait que les racks d’un mégawatt ne connaîtront pas une adoption large. Au lieu de maintenir les unités GPU proches les unes des autres et de dépendre du cuivre, il serait possible d’utiliser l’interconnexion optique pour étendre la portée des communications au sein du domaine de mise à l’échelle à 500 000 unités ou davantage. Cela permettrait de distribuer les unités GPU sur une rangée entière de racks, par exemple en maintenant chaque rack à 200 kilowatts et en reliant optiquement dix racks, avec des performances approximativement équivalentes à celles d’un rack ou de racks de puissance supérieure, sans devoir reconcevoir entièrement la distribution électrique ni la capacité des planchers à supporter le poids tous les deux ans.
Réduire la densité d’un rack ne signifie pas que l’augmentation du nombre d’accélérateurs garantit de meilleures performances. L’efficacité des communications, la bande passante mémoire, la latence, l’efficacité des opérations collectives et l’interopérabilité sont des facteurs essentiels pour faire fonctionner des milliers d’unités GPU comme un système cohérent. Le rôle des normes ouvertes d’interconnexion pour la mise à l’échelle, telles que l’UALink, apparaît ici clairement.
Les charges de travail agentiques mettent la conception et le calendrier sous pression
Les charges de travail d’intelligence artificielle agentique à longue durée de fonctionnement poussent les concepteurs à abandonner les hypothèses fondées sur une consommation moyenne et à gérer des pics intermittents. Sathishkumar Balasubramanian, de Siemens EDA, affirme que certaines de ces charges exigent de supposer un fonctionnement proche de la puissance maximale en permanence, avec une analyse précise de l’énergie et de la chaleur. L’utilisation irrégulière, parfois continue 24 heures sur 24, impose également de concevoir l’ensemble du système d’alimentation et de refroidissement pour ce scénario.
Les changements fréquents de contexte ainsi que les exigences liées à la conservation, à la suspension et à la restauration des modèles renforcent l’importance de la rapidité du système. En revanche, les architectures à dies empilés et les interconnexions denses rendent plus difficile la compréhension de la cartographie thermique et des effets physiques pendant la vérification et la mise en œuvre.
Cette évolution coïncide avec la réduction de la fenêtre de mise sur le marché. Manmeet Walia, de Synopsys, affirme que certains produits ne disposent que d’un an pour passer à la production, tandis que les spécifications sont adoptées sur une période comprise entre 1,5 et 2 ans. Le développement de puces de test pour de nouvelles technologies, telles que la HBM, ainsi que le packaging co-intégré avec la mémoire, consomme des mois du cycle de développement. Le coût des programmes d’accélérateurs peut atteindre un milliard de dollars, ce qui rend risquée l’utilisation d’une IP non vérifiée ou non approuvée.
Fragmenter les solutions plutôt qu’adopter une architecture universelle
L’article avance l’hypothèse que toutes les charges d’inférence ne fonctionneront pas sur un rack d’un mégawatt. Les modèles intermédiaires pourraient représenter la majeure partie des charges d’inférence, tandis que les opérations d’entraînement et les modèles plus volumineux nécessiteraient une architecture différente. Les fournisseurs de services cloud pourraient également s’appuyer sur plusieurs plateformes, comprenant des produits Nvidia ou AMD ainsi que des architectures internes personnalisées.
Wilkinson souligne que les institutions n’installeront pas nécessairement une baie pesant trois tonnes et consommant 500 kilowatts dans des salles techniques locales, ce qui ouvre la voie à des solutions fonctionnant dans les capacités des sites locaux et pour des charges de travail qui ne se limitent pas aux grands modèles de langage. La conclusion de l’article est que la baie d’un mégawatt n’est pas un problème de baies individuelles, mais un problème d’intégration d’un système allant du réseau électrique à la puce, de la puce au refroidisseur et d’un accélérateur à l’autre.