Rechenzentren gestalten ihre Infrastruktur neu, um Racks aufnehmen zu können, die bis zu ein Megawatt verbrauchen. Angetrieben wird dies durch das Wachstum von KI-Workloads, die immer kontinuierlicher und energieintensiver werden. Doch dieser Trend entscheidet die Debatte über den besten Expansionsweg nicht: Werden mehr Verarbeitungseinheiten in hochdichte Racks gepackt, oder wird die Datenverarbeitung über eine stärker verteilte Architektur aufgeteilt?
Semiconductor Engineering zufolge beschränkt sich der Übergang zu Racks mit einer Megawatt Leistung nicht auf eine Erhöhung der Zahl der Beschleuniger, sondern erzwingt grundlegende Veränderungen bei Kühlung, Stromzufuhr, Rack-Design, Netzwerkverbindungen und dreidimensionaler IC-Gehäusetechnik. Gleichzeitig könnten optische Verbindungen, spezialisierte Chips und verteilte Datenverarbeitung den Bedarf verringern, diese gesamte Leistung auf einem einzigen Raum zu konzentrieren.
Vom Serverbehälter zum integrierten Computersystem
Google, Meta und Microsoft arbeiten innerhalb des OCP-Projekts Mount Diablo, das auf dem Diablo-Framework aufbaut, an der Entwicklung von Standards für Megawatt-Racks. Die Zusammenarbeit umfasst Elemente wie die mechanische Rack-Struktur, Kühlung, Flüssigkeitsmanagement, Wasserfluss und Energiequellen, wobei jeder Cloud-Anbieter seinen eigenen Implementierungsweg beibehält.
Arif Khan von Cadence weist darauf hin, dass ein Rack nicht länger lediglich eine passive Struktur ist, die eine Gruppe von Servern beherbergt. Die höhere Rechendichte und die größere Zahl elektrischer und signalführender Verbindungen sowie die zunehmende Größe und der steigende Energieverbrauch von GPU-Einheiten machen das Rack zu einer integrierten Designeinheit, die Flüssigkeitskühlung, Strom-Racks, Stromschienen, Netzwerk-Switches und Systemmanagement umfasst. Dieser Ansatz zeigt sich in Plattformen auf Rack-Ebene wie Nvidia DGX.
Google schlägt eine Gleichstromverteilung mit ±400 Volt innerhalb des Rechenzentrums vor und nutzt dabei Technologien und Erfahrungen, die für die Elektrofahrzeugindustrie entwickelt wurden. Die Erhöhung der Verteilungsspannung trägt dazu bei, Stromstärke, Verluste und die Komplexität der Verkabelung beim Umgang mit einer Leistung von bis zu einem Megawatt zu senken.
Auf mechanischer Ebene erweitert das Open Rack Wide Design, kurz ORW, die Fähigkeiten der Open-Compute-Project-Infrastruktur, um größere, schwerere und energiedichtere KI-Systeme aufzunehmen. ORW ist etwa doppelt so breit wie ein ORV3-Rack und verfügt über zusätzliche strukturelle Verstärkungen. AMD verwendet diesen Ansatz in der Helios-Architektur, die auf der ORW-Spezifikation basiert, die Meta 2025 beim OCP eingereicht hat, während Nvidia DGX-Systeme auf Rack-Ebene innerhalb konventionellerer Rack-Abmessungen platziert.
Dreidimensionale Gehäusetechnik und Herausforderungen bei der Energieversorgung
Mit steigender Dichte wird das 3D-IC-Design wichtiger. Der Artikel zitiert Daniel Wilkinson von Synopsys mit der Aussage, dass große Cloud-Anbieter das Stapeln von Rechen-Dies untersuchen. Zu den Möglichkeiten gehören eine höhere Zahl von Dies auf dem Interposer oder das Stapeln von zwei Dies übereinander. Diese Architekturen erhöhen jedoch die mechanische Komplexität, die Herausforderungen bei der Fertigungsausbeute und die Schwierigkeit, Daten über große Entfernungen zu übertragen.
Die Lösungen können je nach Art des Prozessors variieren. Einige Designs, etwa Googles TPU, beruhen auf einer großen Rechenmatrix, während andere Designs auf eine größere Zahl kleinerer Kerne nach dem Vorbild einer GPU setzen. Daraus ergeben sich Unterschiede bei Stapelverfahren sowie bei den Anforderungen an Verbindungsadressen und grundlegendes IP.
Steven Woo von Rambus zufolge ist die Leistungsdichte in Racks von etwa 4 Kilowatt vor 20 Jahren auf heute mehr als 100 Kilowatt gestiegen. Mit dem Übergang von 12 auf 48 Volt und möglicherweise auf 480 oder 800 Volt kann dieselbe Leistung mit geringerer Stromstärke übertragen werden, wodurch der Bedarf an dickeren Kupferleitern sinkt.
Christian Hoefling von Infineon Technologies warnt, dass die Spitzenströme von GPU-Einheiten bis zum Ende dieses Jahrzehnts 10.000 Ampere pro Einheit erreichen könnten, verglichen mit deutlich niedrigeren Bereichen in früheren CPU-Systemen. Da die Leistungsverluste proportional zum Quadrat der Stromstärke sind, führt eine Verdoppelung der Stromstärke bei gleichbleibendem Leitungswiderstand zu einer erheblichen Zunahme der Verluste. Daher erwartet er, dass Rechenzentren im Gigawattbereich auf die Hochspannungs-Gleichstromverteilung umstellen, um Energieumwandlungsstufen zu reduzieren und die Versorgung der Racks zu vereinfachen.
Ist das Rack mit der höchsten Dichte der einzige Weg?
Nicht alle an der Debatte Beteiligten sind sich einig, dass eine höhere Rack-Leistung der beste Expansionsweg ist. Steve Roddy von Quadric ist der Ansicht, dass die Kombination aus stärker spezialisierten Chips und die Rückkehr zu bestimmten Formen verteilter Datenverarbeitung die Energiedichte in Rechenzentren senken könnte. Auf Training oder Inferenz spezialisierte Chips können eine höhere Inferenzleistung pro Watt bieten. Außerdem lässt sich die Token-Erzeugung parallel zu zentralisierten Modellen auf Millionen Haushalte und Unternehmen verteilen.
Ayar Labs setzt laut Vishal Chandrasekar darauf, dass Megawatt-Racks keine breite Verbreitung finden werden. Statt GPU-Einheiten eng beieinander zu halten und auf Kupfer zu setzen, kann eine optische Verbindung verwendet werden, um die Kommunikationsreichweite innerhalb des Scale-up-Bereichs auf 500.000 oder mehr Einheiten auszudehnen. Dadurch lassen sich GPU-Einheiten über eine gesamte Rack-Reihe verteilen, beispielsweise indem jedes Rack bei 200 Kilowatt gehalten und zehn Racks optisch verbunden werden. So lässt sich nahezu die gleiche Leistung wie mit einem Rack oder Racks höherer Leistung erzielen, ohne die Energieverteilung und die Fähigkeit der Böden, das Gewicht zu tragen, alle zwei Jahre vollständig neu zu gestalten.
Eine Verringerung der Rack-Dichte bedeutet nicht, dass eine höhere Zahl von Beschleunigern automatisch eine bessere Leistung garantiert. Verbindungseffizienz, Speicherbandbreite, Latenz, Effizienz kollektiver Operationen und Interoperabilität sind entscheidende Faktoren dafür, dass Tausende GPU-Einheiten als kohärentes System arbeiten. Hier spielen offene Verbindungsstandards für die Skalierung wie UALink eine wichtige Rolle.
Agentische Workloads setzen Design und Zeitplan unter Druck
Lang laufende agentische KI-Workloads zwingen Designer dazu, Annahmen aufzugeben, die auf dem durchschnittlichen Verbrauch beruhen, und sich mit intermittierenden Spitzen auseinanderzusetzen. Sathishkumar Balasubramanian von Siemens EDA zufolge erfordern einige dieser Workloads die Annahme eines Betriebs nahe der Spitzenleistung während der gesamten Zeit sowie eine genaue Analyse von Energie und Wärme. Die unregelmäßige und manchmal rund um die Uhr andauernde Nutzung erfordert außerdem, das gesamte Energie- und Kühlsystem für dieses Szenario auszulegen.
Häufige Kontextwechsel sowie die Anforderungen an das Speichern, Anhalten und Wiederherstellen von Modellen erhöhen die Bedeutung der Systemgeschwindigkeit. Gleichzeitig erschweren gestapelte Die-Architekturen und dichte Konvertierungen das Verständnis der thermischen Karte und der physikalischen Auswirkungen während Verifikation und Implementierung.
Dies fällt mit einem schrumpfenden Marktfenster zusammen. Manmeet Walia von Synopsys zufolge haben einige Produkte nur ein Jahr Zeit, um in die Produktion zu gelangen, während Spezifikationen innerhalb eines Zeitraums von 1,5 bis 2 Jahren verabschiedet werden. Auch die Entwicklung von Testchips für neue Technologien wie HBM und die gemeinsame Gehäusetechnik mit Speicher beansprucht Monate des Entwicklungszyklus. Die Kosten für Beschleunigerprogramme können eine Milliarde Dollar erreichen, wodurch die Verwendung nicht verifizierten oder nicht zugelassenen IPs ein erhebliches Risiko darstellt.
Fragmentierung der Lösungen statt einer Architektur für alle
Der Artikel wirft die Möglichkeit auf, dass nicht alle Inferenz-Workloads auf einem Rack mit einer Megawatt Leistung ausgeführt werden. Mittlere Modelle könnten den größten Teil der Inferenz-Workloads ausmachen, während Training und größere Modelle eine andere Architektur benötigen. Cloud-Anbieter könnten außerdem auf mehrere Plattformen setzen, darunter Produkte von Nvidia oder AMD sowie maßgeschneiderte interne Architekturen.
Wilkinson weist darauf hin, dass Institutionen nicht zwangsläufig ein drei Tonnen schweres Rack mit einem Verbrauch von 500 Kilowatt in lokalen Technikräumen aufstellen werden. Dies eröffnet Raum für Lösungen, die innerhalb der Kapazitäten lokaler Standorte arbeiten und für Arbeitslasten bestimmt sind, die nicht auf große Sprachmodelle beschränkt sind. Das Fazit des Artikels lautet, dass ein Megawatt-Rack kein Problem einzelner Racks ist, sondern ein Problem der Systemintegration, das sich vom Stromnetz bis zum Chip, vom Chip bis zum Kühler und von einem Beschleuniger zum nächsten erstreckt.