Die Architektur von KI-Rechenzentren bewegt sich auf heterogene Rechencluster zu, die Central Processing Units (CPUs), Graphics Processing Units (GPUs), Neural Processing Units (NPUs) und kundenspezifische Beschleuniger sowie Speicher mit hoher Bandbreite und kupfer- und optische Verbindungstechnologien kombinieren. Dieser Wandel spiegelt die unterschiedliche Beschaffenheit der Aufgaben beim Training und bei der Inferenz von Modellen wider, insbesondere angesichts des zunehmenden Einsatzes agentischer KI-Anwendungen, die eine Mischung aus parallelen Berechnungen, Zustandsverwaltung, Entscheidungsfindung und der Ausführung von Tool-Aufrufen erfordern.
Dies wurde in einer von Semiconductor Engineering veranstalteten Diskussion mit Satadal Bhattacharjee von Arm, Ashish Darbari von Axiomise, Moshiko Emmer von Cadence, Sharad Chole von Expedera, Cameron Brunner von Siemens EDA und Sumit Vishwakarma von Synopsys erörtert. Der Beitrag ist der dritte und letzte Teil einer Diskussionsreihe über den Wandel der Architektur von KI-Rechenzentren.
Vom leistungsstarken Server zum verteilten System
Mehrprozessor-Cluster verändern die technische Problemstellung selbst. Statt einen einzelnen Server zu entwerfen, der Rechenleistung, Speicher sowie Ein- und Ausgabe ausbalanciert, hängt die Leistung von der Aufteilung der Workloads, den Kommunikationsmustern und der Fähigkeit des Verbindungsnetzwerks ab, Daten effizient zu übertragen und Synchronisationsvorgänge auszuführen.
Die Teilnehmer erklärten, dass unterschiedliche Parallelisierungsmodelle wie Tensor Parallel, Data Parallel, Context Parallel und Pipeline Parallel verschiedene Formen der Netzwerktopologie erfordern. Pipeline-Parallelismus verbindet aufeinanderfolgende Stufen, während Tensor-Parallelismus umfangreiche Sammelvorgänge und anschließend eine erneute Übertragung der Ergebnisse erfordert. Daher wird die Wahl des Verbindungsnetzwerks zu einem Bestandteil der Definition des Clusters und nicht zu einer von ihm getrennten Komponente.
Mit dem Anwachsen der Modelle gewinnt der Speicher an Bedeutung. Neben den festen Modellparametern gibt es einen variablen Kontext, der von der Zahl der verarbeiteten Anfragen und dem Umfang der vom System gespeicherten Informationen beeinflusst wird. Deshalb sind die Kosten des HBM-Speichers und seine Nutzung entscheidende Faktoren für die Effizienz von GPUs, insbesondere in Rechenzentren, die die Zahl der pro Sekunde verarbeiteten Anfragen erhöhen wollen.
Aufteilung der Inferenz auf spezialisierte Cluster
Satadal Bhattacharjee zufolge besteht ein wichtiger Trend in der Aufteilung der Inferenz-Pipeline in separate Stufen. Der Prozess beginnt mit der Prefill-Stufe, die die Eingabe verarbeitet und bestimmt, was von ihr verlangt wird; sie ist rechenintensiv. Danach folgt die Decode-Stufe, die die Antwort erzeugt, gefolgt von der Ausführung von Aufgaben durch Agenten, etwa dem Aufruf von Tools oder der Durchführung einer bestimmten Aktion.
In diesem Modell kann ein Cluster aus Hardware und Software für die Prefill-Stufe vorgesehen werden, ein weiterer für die Decode-Stufe und ein Rechencluster für die Ausführung von Agentenaufgaben. Anschließend werden diese Cluster miteinander verbunden, der Diskussion zufolge meist über Ethernet. Dadurch kann jeder Hardwaretyp für die Aufgabe eingesetzt werden, für die er am besten geeignet ist, anstatt eine einzelne GPU für alle Stufen zu verwenden.
Bhattacharjee verwies auf Nvidias Ankündigung, die Groq 3 LPU in einem Prefill-Cluster einzusetzen, als Beispiel dafür, dass Inferenz mehr als einen Prozessortyp benötigen kann. Außerdem erwähnte er, dass DigitalOcean die Bereitstellung einer für heterogene Cluster optimierten fünfstufigen Inferenzarchitektur angekündigt habe, die Hardware von AMD und Nvidia umfasst und später um neue Hardware erweitert werden kann.
Software ist das Bindeglied für die Koordination
Es reicht nicht aus, CPUs, GPUs und NPUs sowie Beschleuniger in einem einzigen System zusammenzuführen. Die Software muss die Eigenschaften jeder Komponente kennen, entscheiden, wo jede Stufe ausgeführt wird, und Datenübertragungen, Scheduling, Wartevorgänge sowie Zugriffspunkte auf Programmierschnittstellen koordinieren. CPUs können Aufgaben der Zustandsverwaltung, der Befehlssteuerung und des Tool-Aufrufs übernehmen, während Beschleuniger rechenintensive Vorgänge ausführen, darunter Matrixmultiplikationen im Zusammenhang mit Inferenz und Schlussfolgerungen.
Virtuelle Maschinen werden eingesetzt, um Cluster auf einer höheren Ebene zu abstrahieren. Die Teilnehmer bezeichneten jedoch containerbasierte Umgebungen, darunter Docker, als die vorherrschende Methode zur wiederholbaren Bereitstellung von Komponenten und GPU-Treiber-Toolchains. Oberhalb der Containerschicht befinden sich spezialisierte Komponenten für Betrieb, Koordination, Scheduling, Warteschlangenverwaltung, Modellbereitstellung und den Betrieb von Programmierschnittstellen.
Die Teilnehmer betrachteten ein integriertes Software-Ökosystem als einen der Gründe für Nvidias Stärke, nachdem das Unternehmen mehr als 20 Jahre in Software investiert hat. Der Übergang zu Hardware mehrerer Unternehmen erfordert jedoch eine Koordinationsschicht, die diese Vielfalt verwalten kann. Unternehmen wie Gimlet Labs und Together AI wurden als Beispiele dafür genannt, dass sie an der Bereitstellung dieser Schicht arbeiten, einschließlich der Optimierung des Betriebs von Prefill-, Decode- und Ausführungsclustern.
Verbindungen und Energie bestimmen die Skalierbarkeit
Zu den Optionen für die Verbindung zwischen Clustern gehören Ethernet, InfiniBand und Slingshot, eine auf Ethernet basierende Hochgeschwindigkeitsnetzwerktechnologie von Hewlett Packard Enterprise. Der Diskussion zufolge bietet Ethernet einen breiteren Standard, während spezialisierte Technologien in bestimmten Fällen eine bessere Leistung liefern können, dafür aber an das Ökosystem eines bestimmten Anbieters gebunden sind.
Auch optische Verbindungen gewinnen an Aufmerksamkeit. Google verwendet TPU-Einheiten mit optischen Verbindungen, während Technologien für die Integration von Optik in das Gehäuse (co-packaged optics) untersucht werden. Die Attraktivität der Photonik liegt in der Verringerung des Widerstands und der Wärmeabgabe im Vergleich zu elektrischen Verbindungen – ein wichtiger Aspekt in Clustern, die bereits mit Herausforderungen bei Wärme und Kühlkosten zu kämpfen haben.
Auf Gehäuseebene führt die Integration mehrerer Chips, von HBM-Speicher und verschiedener Komponenten zu einer höheren thermischen, mechanischen und elektrischen Komplexität. Wärme, Verformung, Probleme durch Elektromigration oder die Signalintegrität können die Leistung des Knotens und des gesamten Clusters beeinträchtigen. Daher besteht weniger Bedarf an einer einzigen universellen Verbindungstechnologie als an Verbindungsschichten, die mit jeder Ebene kompatibel sind – von der Verbindung zwischen Dies innerhalb des Gehäuses bis zum Cluster-Netzwerk.
Warum ist dieser Trend wichtig?
Das von Bhattacharjee formulierte Fazit lautet, dass Energie das wichtigste Problem darstellt, gefolgt von der Token-Effizienz. Heterogene Cluster bieten einen Weg, die Kosten pro Token zu senken, indem die Hardware auf die jeweilige Phase abgestimmt wird. Dies erfordert jedoch ausgereifte Koordinationssoftware und klare Messungen zur Position der Daten, zur Bandbreite, zum thermischen Zustand und zur Spezialisierung jedes Prozessors. Da dieses Ökosystem meist auf Komponenten mehrerer Unternehmen basiert, bleibt der Aufbau eines Systems, das in großem Maßstab effizient arbeitet, eine offene technische Herausforderung und ist nicht bloß ein Austausch einer GPU gegen einen anderen Beschleuniger.