Anleitungen
So verstehen Sie die Komponenten einer KI-Infrastruktur und bewerten Skalierungsoptionen
Ein konzeptioneller Leitfaden zum Verständnis der grundlegenden Ebenen einer KI-Infrastruktur – von Energieversorgung, Chips und Speicher bis hin zu Netzwerken und Datenspeicherung – sowie ein Rahmen zur Bewertung der Skalierung innerhalb eines Servers, über mehrere Server oder über eine disaggregierte Infrastruktur. Der Leitfaden stützt sich auf die verfügbaren Belege und enthält keinen eigenständigen Praxistest.
KI-Systeme benötigen ein vernetztes Ökosystem aus Rechenleistung, Speicher, Interconnects, Datenspeicherung, Energieversorgung, Kühlung und Software. Daher reicht es bei der Planung der Infrastruktur nicht aus, lediglich einen schnelleren Prozessor oder Beschleuniger auszuwählen.
1. Bestimmen Sie die Art der Workload
Beginnen Sie damit zu bestimmen, ob die Infrastruktur für das Training von Modellen, für Inferenz oder für beides eingesetzt werden soll. Die Belege zeigen, dass kontinuierliche Inferenz-Workloads, Modelle großen Umfangs und Edge-Anwendungen unterschiedliche Optionen bei Rechenleistung, Speicher und Interconnects benötigen können.
- Training: Erfordert die Koordination einer großen Zahl von Verarbeitungseinheiten. Die Kommunikation zwischen den Komponenten kann einen erheblichen Teil der Ausführungszeit ausmachen.
- Inferenz: Kann sich auf Latenz, Speicherkapazität oder die Effizienz beim Betrieb von Modellen konzentrieren.
- Edge-Workloads: Können auf Prozessoren spezialisiert für kontinuierliche Inferenz oder für den Betrieb von KI nahe der Datenquelle angewiesen sein.
2. Bewerten Sie Rechenleistung und Speicher gemeinsam
Betrachten Sie nicht nur die Anzahl der Verarbeitungseinheiten. Speicher, seine Kapazität und die Art seiner Integration sind zu einem Bestandteil des Infrastrukturdesigns geworden. Dazu kommen Server-Speichermodule mit hoher Kapazität sowie Stapel- und Verbindungstechnologien wie TSV.
- Bestimmen Sie die erforderliche Speicherkapazität für Modelle und Daten.
- Prüfen Sie, ob der Speicher sich in unmittelbarer Nähe des Prozessors befindet oder über ein gemeinsames Fabric verfügbar ist.
- Berücksichtigen Sie, dass ein Speichermangel oder ein langsamer Datentransfer die Nutzung der Rechenleistung begrenzen kann.
3. Wählen Sie ein Muster für die Ressourcenverteilung
Die Belege nennen drei zentrale Muster, ohne eines davon als universelle Lösung darzustellen.
- Scale-up innerhalb des Systems: Prozessor und Beschleuniger bleiben im Server nahe beieinander. Das eignet sich für latenzempfindliche Workloads, wird jedoch durch die Anzahl der Prozessor-Lanes, den Platz im Gehäuse sowie Energie- und Kühlungsanforderungen begrenzt.
- Scale-out über mehrere Server: Verteilt die Leistung auf mehrere Knoten unter Verwendung von Ethernet oder InfiniBand. Dies erhöht jedoch die Latenz und erfordert Software zur Koordination von Daten und Workloads.
- Disaggregierte Infrastruktur: Macht Ressourcen wie GPU-Einheiten, Speicher oder SmartNIC- und DPU-Einheiten über ein gemeinsames Fabric verfügbar. Dies kann die Ressourcennutzung verbessern, bringt jedoch zusätzliche Herausforderungen bei Konkurrenz, Isolation und Verwaltung mit sich.
4. Entwerfen Sie den Interconnect-Pfad
PCIe spielt eine zentrale Rolle bei der Verbindung von Prozessoren, Grafikprozessoren, Beschleunigern, SmartNIC- oder DPU-Einheiten und Speicher. Die Belege zeigen, dass PCIe-Switches die Zahl der Verbindungspunkte erhöhen und Transaktionen zwischen den Ports weiterleiten.
- Bestimmen Sie die Zahl der eingehenden und ausgehenden Verbindungen.
- Berechnen Sie die erforderliche Bandbreite und das Ausmaß der Überbuchung zwischen den Geräten.
- Prüfen Sie Arbitrierungsmechanismen, Pufferung und Credit-Management, um Konkurrenz und Head-of-Line-Blocking zu reduzieren.
- Berücksichtigen Sie die Kompatibilität zwischen PCIe-Generationen. PCIe 5.0 und PCIe 6.x werden weiterhin in aktuellen Infrastrukturen eingesetzt, während PCIe 7.0 laut dem Material eine rohe Übertragungsrate von bis zu 128 GT/s pro Lane bietet.
5. Berücksichtigen Sie Entfernung und Signalqualität
Wenn Ressourcen über längere Pfade, Steckverbinder oder Kabel verteilt werden, nehmen die Herausforderungen durch Kanalverlust, Reflexionen, Interferenzen und Jitter zu. Retimer stellen Takt und Daten wieder her, terminieren einen elektrischen Abschnitt und übertragen das Signal anschließend erneut.
- Bewerten Sie Kanalverlust, Pfadlängen und Steckverbinder.
- Berechnen Sie die Auswirkungen jedes Retiming-Abschnitts auf Latenz, Energieverbrauch und Wärmeentwicklung.
- Überprüfen Sie die Kompatibilität zwischen Prozessoren, Endpunkten, PHY-Schnittstellen, Steckverbindern, Kabeln und Firmware.
6. Verknüpfen Sie die Infrastruktur mit Energie, Kühlung und Standort
Die Belege zeigen, dass Skalierung mehr als Chips erfordert. Sie hängt auch von Energieversorgung, Rechenzentren, Kühlung und Lieferketten ab. Zu den genannten Optionen gehören große Rechenzentren und transportfähige, modulare Einheiten, die mit unterschiedlichen Energiequellen verbunden werden können. Die Auswirkungen modularer Einheiten auf Kosten und Skalierungsgeschwindigkeit müssen dem Material zufolge jedoch praktisch geprüft werden.
- Bestimmen Sie die am Standort verfügbare Energie- und Kühlleistung.
- Prüfen Sie die Einschränkungen beim Bau von Rechenzentren und bei der Akzeptanz durch lokale Gemeinschaften.
- Bewerten Sie, ob der Standort eine große feste Infrastruktur oder transportfähige Einheiten benötigt, ohne von vornherein eine der beiden Optionen als überlegen anzunehmen.
7. Bewerten Sie die Leistung auf Systemebene
Verwenden Sie eine Workload und eine Topologie, die der tatsächlichen Nutzung entsprechen, statt sich nur auf eine allgemeine Spezifikationsliste zu stützen. Die Belege empfehlen, Bandbreite, Latenz, Kanalverlust, Energieverbrauch, Verwaltbarkeit und Interoperabilität zu messen.
- Vergleichen Sie die Kommunikationszeit mit der Rechenzeit.
- Beobachten Sie Konkurrenzpunkte bei der gemeinsamen Nutzung von GPU- oder Speicherressourcen.
- Testen Sie die Skalierbarkeit bei steigender Zahl von Knoten und Geräten.
- Unterscheiden Sie zwischen Simulationsergebnissen und unabhängigen Messungen in einer tatsächlichen Betriebsumgebung. Das von Huawei gemeldete Ergebnis für einen Cluster mit 100.000 NPU-Einheiten ist ein Simulationsergebnis; das Material enthält keine ausreichenden Details zu Workloads oder Testbedingungen.
8. Prüfen Sie Risiken in der Lieferkette
Die Belege zeigen, dass Speicher, Packaging, Energieversorgung, Materialien und Fertigungsanlagen zu Engpässen werden können. Auch die Kosten für das Design fortschrittlicher Nodes sind hoch. Das Material schätzt die Kosten für das Design eines Chips mit 2-nm-Technologie auf etwa 725 Millionen US-Dollar gegenüber 48 Millionen US-Dollar bei 28 nm.
- Überprüfen Sie die Verfügbarkeit von Beschleunigern, Speicher und Interconnect-Komponenten.
- Unterscheiden Sie zwischen angekündigten Plänen und tatsächlicher Produktionskapazität.
- Betrachten Sie Finanzierung, Bewertung oder kommerzielle Ankündigungen nicht als ausreichenden Beleg für Leistung oder Zuverlässigkeit.
Praktische Zusammenfassung
Richten Sie die Infrastrukturentscheidung an Workload, Topologie und elektrischen Einschränkungen aus und wägen Sie anschließend Nähe, Skalierbarkeit und Ressourcennutzung gegeneinander ab. Scale-up innerhalb des Systems kann für latenzempfindliche Workloads geeignet sein, während Scale-out über mehrere Server zu größeren Clustern passen kann. Eine disaggregierte Infrastruktur kann sinnvoll sein, wenn die selektive gemeinsame Nutzung von Ressourcen gerechtfertigt ist. Höchstgeschwindigkeit oder die Anzahl der Ports allein reichen nicht aus, um die Eignung eines Designs zu beurteilen.