Die Netzwerkarchitektur von Rechenzentren für KI-Workloads verändert sich, da Cluster die Grenzen eines einzelnen Racks überschreiten. Dadurch wächst die Rolle optischer Verbindungen, während die traditionelle Regel an Bedeutung verliert, nach der Kupfer mit Scale-up und Glasfaser mit Scale-out verbunden wird. Laut einem von Semiconductor Engineering am 13. August 2026 veröffentlichten Beitrag bringen steigende Datenübertragungsraten innerhalb des Racks Kupfer an Grenzen bei Verlusten, Entfernung und Energieverbrauch. Licht kann dagegen einen besser geeigneten Übertragungsweg für hohe Datenraten bieten, sofern die Anforderungen an Energieverbrauch und Zuverlässigkeit kontrolliert werden.
Die Bedeutung dieses Wandels ergibt sich aus dem Einfluss der Latenz auf die Leistung von Grafikprozessoren. Eric Aguilar, CEO und Mitgründer von Omnitron, erklärte, zahlreiche Berichte deuteten darauf hin, dass die Auslastung von GPUs etwa 25 % erreichen könne, weil sie auf Daten warteten, anstatt Arbeit auszuführen. Daher betrifft die Wahl des Verbindungsmediums nicht nur die Übertragungsentfernung, sondern auch die Fähigkeit des Netzwerks, die Prozessoren beschäftigt zu halten sowie Verzögerungen und verschwendete Energie zu reduzieren.
Vom Scale-up innerhalb des Racks zu größerem Maßstab
Scale-up wurde gewöhnlich als Verbindung innerhalb eines einzelnen Racks über Kupfer definiert, wobei der Zugriff auf den Speicher gemäß Speichersemantik möglich war. Diese Definition ist jedoch ungenauer geworden, da sich Rechencluster auf Server in benachbarten Racks erstrecken. In diesem Fall nimmt die Entfernung zu, und Kupfer bleibt möglicherweise nicht die beste Option.
Vishal Chandrasekar, Leiter des Produktmanagements bei Ayar Labs, sagt, Kupfer sei innerhalb des Racks wahrscheinlicher, während optische Verbindungen beim Überschreiten benachbarter Racks zur erwarteten Option würden. Bei einer Übertragungsrate von 200 Gigabit könne Kupfer für eine Entfernung von bis zu fünf Metern geeignet sein, oder bei Ausreizung seiner Grenzen für sieben Meter. Ab zehn Metern oder mehr würden optische Verbindungen hingegen notwendig, schätzt er.
Das bedeutet nicht, dass Kupfer aus allen Scale-up-Anwendungen verschwindet. Vielmehr könnte das beständigste Element der Scale-up-Definition die Verwendung von Speichersemantik werden, nicht der Standort des Systems innerhalb eines einzelnen Racks oder die Art des physikalischen Mediums. Priyank Shukla, Direktor für Produktmanagement von Schnittstellen-IP bei Synopsys, erläuterte, dass die Softwaredefinition mit dem Vorhandensein eines einzigen Betriebssystem- und Speicherbereichs verbunden sei, sodass der Prozessor unabhängig vom Standort des Speichers an eine Speicheradresse schreiben könne.
Das Aufkommen des Begriffs Scale-in
Neben Scale-up, Scale-out und Scale-across ist ein neuer Begriff aufgetaucht: Scale-in. Laut Chandrasekar wurde der Begriff in den drei Monaten vor dem Beitrag verwendet und bezeichnet die Bandbreite, die von einer GPU nach außen übertragen wird, aber innerhalb eines einzelnen Servergehäuses verbleibt.
- Scale-in: Verbindung zwischen Prozessoren innerhalb eines einzelnen Servers oder auf einer einzigen Platine.
- Scale-up: Verbindung innerhalb eines gemeinsamen Speicherbereichs, traditionell mit dem Inneren des Racks und Kupfer verbunden.
- Scale-out: Verbindung zwischen Racks, bei der Ethernet-RDMA-Semantik verwendet wird und die Abhängigkeit von optischen Verbindungen zunimmt.
- Scale-across: Verbindung zwischen verschiedenen Rechenzentren oder Campusstandorten über Glasfaser.
Der UALink-Standard hält an einer grundlegenden Erwartung in Scale-up-Umgebungen fest: Jeder Beschleuniger soll sich in einem einzigen Hop von den anderen Beschleunigern befinden. Laut Shukla wurden UALink-Netzwerke so konzipiert, dass eine Verbindung zwischen den Beschleunigern über einen einzigen Switch verläuft, selbst wenn sich der Scale-up-Bereich über mehr als ein Rack erstreckt. Dieser Switch kann an verschiedenen Positionen innerhalb der Rack-Struktur platziert werden, etwa oben oder in der Mitte des Racks. Das Prinzip besteht jedoch darin, den Datenverkehr zwischen den beiden Endpunkten auf einen einzigen Hop zu beschränken.
Topologie und optische Vermittlung
Mit der Ausweitung des Scale-up-Bereichs reicht die Art des Mediums allein nicht mehr aus, um die Leistung zu bestimmen. Die Netzwerktopologie, die Beschleuniger, Switches und Server verbindet, wird zu einem entscheidenden Faktor. Zu den gängigsten Designs gehört die Clos- oder Leaf-and-Spine-Architektur, die einen kurzen Pfad zwischen den Servern bereitstellt. Google verwendet dem Beitrag zufolge jedoch ein Torus-Netzwerk in seinem KI-Netzwerk. Dabei sind TPU-Einheiten in drei Richtungen mit benachbarten Einheiten verbunden, wodurch das Design einen Charakter ähnlich einer systolischen Struktur erhält.
Ein Torus-Netzwerk benötigt gewöhnlich eine variable Anzahl von Hops, um zwischen zwei Punkten zu gelangen. Der im Beitrag dargestellte Pfad kann bis zu vier Hops umfassen, verglichen mit einem einzigen Hop in einer Leaf-and-Spine-Architektur. Bei paketvermittelter Kommunikation müssen Paketinformationen in jedem Switch oder Router geprüft werden. Da die optische Technologie Pakete nicht direkt verarbeitet, wird das Signal an jedem Knoten von optisch in elektrisch umgewandelt, um den nächsten Hop zu bestimmen, und anschließend wieder in optisch umgewandelt. Diese wiederholten Umwandlungen erhöhen Latenz und Energieverbrauch.
Aus diesem Grund rücken Circuit-Switching-Technologien wieder in den Mittelpunkt der Diskussion. Statt Pakete an jedem Knoten zu verarbeiten, öffnet Circuit Switching einen vollständigen Pfad von der Quelle zum Ziel und reserviert ihn für einen einzigen Datenstrom. Google hat ein optisches Circuit-Switching-Netzwerk in einer Torus-Konfiguration implementiert, während andere Akteure den Einsatz von OCS-Netzwerken mit unterschiedlichen Topologien untersuchen. Dies zeigt, dass die Skalierung von KI-Clustern nicht nur darin besteht, Kupfer durch Licht zu ersetzen, sondern auch eine Neubewertung der Organisation von Pfaden, der Anzahl der Hops und der Art und Weise umfasst, wie Daten weitergeleitet werden.