Guides

Comment comprendre les composants de l’infrastructure d’IA et évaluer les options de mise à l’échelle

Guide conceptuel pour comprendre les principales couches de l’infrastructure d’IA, de l’énergie, des puces et de la mémoire aux réseaux et au stockage, avec un cadre pour évaluer la mise à l’échelle au sein d’un serveur, entre plusieurs serveurs ou via une infrastructure désagrégée. Ce guide s’appuie sur les éléments disponibles et ne comprend pas de test pratique indépendant.

Les systèmes d’intelligence artificielle nécessitent un écosystème interconnecté comprenant le calcul, la mémoire, l’interconnexion, le stockage, l’énergie, le refroidissement et les logiciels. Le choix d’un processeur ou d’un accélérateur plus rapide ne suffit donc pas lors de la conception de l’infrastructure.

1. Déterminez la nature de la charge de travail

Commencez par déterminer si l’infrastructure servira à l’entraînement des modèles, à l’inférence ou aux deux. Les éléments disponibles indiquent que l’inférence continue, les modèles de grande taille et les applications en périphérie peuvent nécessiter des options différentes en matière de traitement, de mémoire et d’interconnexion.

  • Entraînement : nécessite la coordination d’un grand nombre d’unités de traitement et la communication entre les composants peut représenter une part importante du temps d’exécution.
  • Inférence : peut privilégier la latence, la capacité mémoire ou l’efficacité d’exécution des modèles.
  • Charges en périphérie : peuvent dépendre de processeurs spécialisés pour l’inférence continue ou l’exécution de l’IA à proximité de la source des données.

2. Évaluez le calcul et la mémoire ensemble

Ne vous limitez pas au nombre d’unités de traitement. La mémoire, sa capacité et son mode d’intégration sont devenus des éléments de la conception de l’infrastructure, avec l’apparition de modules de mémoire serveur haute capacité et de technologies d’empilement et d’interconnexion telles que TSV.

  • Déterminez la capacité mémoire nécessaire aux modèles et aux données.
  • Examinez si la mémoire est proche du processeur ou accessible via un fabric partagé.
  • Tenez compte du fait qu’un manque de mémoire ou un transfert de données lent peut limiter l’utilisation de la capacité de traitement.

3. Choisissez un modèle de répartition des ressources

Les éléments disponibles présentent trois modèles principaux, sans présenter l’un d’eux comme une solution universelle.

  • Mise à l’échelle au sein du système : maintient le processeur et les accélérateurs à proximité dans le serveur, ce qui convient aux charges sensibles à la latence, mais dépend du nombre de lignes du processeur, de l’espace du châssis, de l’énergie et du refroidissement.
  • Mise à l’échelle entre les serveurs : répartit les performances sur plusieurs nœuds à l’aide d’Ethernet ou d’InfiniBand, mais ajoute de la latence et nécessite des logiciels pour coordonner les données et les charges.
  • Infrastructure désagrégée : rend des ressources telles que les GPU, le stockage ou les SmartNIC et DPU accessibles via un fabric partagé. Elle peut améliorer l’utilisation des ressources, mais ajoute des défis liés à la contention, à l’isolation et à la gestion.

4. Concevez le chemin d’interconnexion

PCIe joue un rôle essentiel dans la connexion des processeurs, des unités de traitement graphique, des accélérateurs, des SmartNIC ou DPU et du stockage. Les éléments disponibles indiquent que les commutateurs PCIe augmentent le nombre de points de connexion et dirigent les transactions entre les ports.

  • Déterminez le nombre de connexions entrantes et sortantes.
  • Calculez la bande passante requise et le niveau de surabonnement entre les appareils.
  • Examinez les mécanismes d’arbitrage, de mise en cache et de gestion des crédits afin de réduire la contention et le blocage en tête de file.
  • Tenez compte de la compatibilité entre les générations de PCIe ; PCIe 5.0 et PCIe 6.x restent utilisées dans les infrastructures actuelles, tandis que PCIe 7.0 offre un débit brut pouvant atteindre 128 GT/s par ligne selon le document.

5. Traitez la distance et la qualité du signal

Lorsque les ressources sont réparties sur des chemins plus longs, des connecteurs ou des câbles, les défis liés à la perte du canal, aux réflexions, aux interférences et à la gigue augmentent. Les retimers restaurent l’horloge et les données, terminent un segment électrique, puis retransmettent le signal.

  • Évaluez la perte du canal ainsi que la longueur des chemins et des connecteurs.
  • Calculez l’effet de chaque segment retimé sur la latence, l’énergie et la chaleur.
  • Vérifiez la compatibilité entre les processeurs, les points de terminaison, les interfaces PHY, les connecteurs, les câbles et les micrologiciels.

6. Reliez l’infrastructure à l’énergie, au refroidissement et au site

Les éléments disponibles montrent que la mise à l’échelle nécessite davantage que des puces ; elle dépend également de l’énergie, des centres de données, du refroidissement et des chaînes d’approvisionnement. Les options envisagées comprennent de grands centres de données et des unités modulaires transportables pouvant être reliées à différentes sources d’énergie, mais l’impact des unités modulaires sur le coût et la vitesse de mise à l’échelle doit faire l’objet d’un test pratique selon le document.

  • Déterminez la capacité énergétique et de refroidissement disponible sur le site.
  • Examinez les contraintes liées à la construction des centres de données et à l’acceptation par les communautés locales.
  • Évaluez si le site nécessite une grande infrastructure permanente ou des unités transportables, sans supposer la supériorité de l’une ou l’autre option.

7. Évaluez les performances au niveau du système

Utilisez une charge de travail et une topologie représentatives de l’usage réel, plutôt qu’une simple liste de spécifications générales. Les éléments disponibles recommandent de mesurer la bande passante, la latence, la perte du canal, la consommation énergétique, la facilité de gestion et l’interopérabilité.

  • Comparez le temps de communication au temps de calcul.
  • Surveillez les points de contention lors du partage des ressources GPU ou de stockage.
  • Testez la capacité de mise à l’échelle lorsque le nombre de nœuds et d’appareils augmente.
  • Distinguez les résultats de simulation des mesures indépendantes effectuées dans un environnement opérationnel réel ; le résultat annoncé par Huawei pour un ensemble comprenant 100 000 unités NPU est un résultat de simulation, et le document ne fournit pas suffisamment de détails sur les charges de travail ou les conditions de test.

8. Examinez les risques liés à la chaîne d’approvisionnement

Les éléments disponibles indiquent que la mémoire, le packaging, l’énergie, les matériaux et les équipements de fabrication peuvent devenir des goulets d’étranglement. Le coût de conception des nœuds avancés est également élevé ; le document estime le coût de conception d’une puce en technologie 2 nm à environ 725 millions de dollars, contre 48 millions de dollars en 28 nm.

  • Vérifiez la disponibilité des accélérateurs, de la mémoire et des composants d’interconnexion.
  • Distinguez les plans annoncés de la capacité de production réelle.
  • Ne considérez pas le financement, la valorisation ou l’annonce commerciale comme des preuves suffisantes de performance ou de fiabilité.

Conclusion pratique

Construisez la décision d’infrastructure autour de la charge de travail, de la topologie et des contraintes électriques, puis trouvez un équilibre entre proximité, évolutivité et utilisation des ressources. La mise à l’échelle au sein du système peut convenir aux charges sensibles à la latence, la mise à l’échelle entre les serveurs peut s’adapter aux clusters plus importants, tandis qu’une infrastructure désagrégée peut être utile lorsque le partage sélectif des ressources est justifié. La vitesse maximale ou le seul nombre de ports ne suffisent pas à évaluer l’adéquation d’une conception.