HBM4 stellt einen Wendepunkt bei der Entwicklung von Speicher mit hoher Bandbreite dar, da der standardmäßige Basislogik-Die durch einen auf bestimmte Workloads oder Prozessoren zugeschnittenen Die ersetzt werden kann. Dies gibt insbesondere Hyperscalern die Möglichkeit, den Speicher an kundenspezifische XPU-Recheneinheiten anzupassen, statt sich mit einem für alle verfügbaren Standardprodukt zu begnügen.
Das bedeutet nicht, dass ein neues einheitliches Produkt entsteht, das auf dieselbe Weise gekauft werden kann wie herkömmliche HBM-Pakete. Jede Anwendung von kundenspezifischem Speicher oder cHBM erfordert eine Vereinbarung darüber, wer den Basis-Die entwirft, wer ihn fertigt und den Wafer testet, wer die Speicherschichten integriert und wer den abschließenden Test durchführt. Laut dem Artikel werden sich die Antworten je nach Projekt und beteiligten Kunden unterscheiden.
Was hat sich mit HBM4 verändert?
Ein HBM-Paket besteht aus mehreren Schichten, bei denen es sich größtenteils um Speicher-Dies handelt. Unten befindet sich ein Logikchip, der die Verwaltung, Adressierung und Steuerungsaufgaben innerhalb des Pakets übernimmt. Bis HBM3 entwarfen und fertigten Speicherunternehmen wie Micron, Samsung und SK hynix sämtliche Dies, einschließlich des Basis-Dies.
Mit HBM4 ist der Basis-Die jedoch auf fortschrittlichere Logikfertigungsprozesse übergegangen, anstatt einen Prozess zu verwenden, der den DRAM-Prozessen nahekommt. Wahrscheinlich wird er auf einem 4-Nanometer- oder einem neueren Knoten basieren, während die DRAM-Dies selbst nicht auf diese Prozesse wechseln. Daher kann eine Logik-Foundry den Basis-Die fertigen, woraufhin das Speicherunternehmen beim Standardmodell das Paket montiert und testet.
HBM4 und nachfolgende Generationen bieten zusätzlich die Möglichkeit, diesen Standard-Die durch einen kundenspezifischen Die zu ersetzen. Die Speicherschichten selbst müssen sich dadurch nicht zwangsläufig ändern; die Anpassung konzentriert sich vielmehr auf die Steuerlogik, die Schnittstellen und die Verwaltungsfunktionen, wodurch das Paket an das Systemdesign angepasst werden kann.
Warum richtet sich die Anpassung an Hyperscaler?
Die Nutzung von Standard-HBM erfordert den Kauf fertiger Module, während die Anpassung den Bezug des Speichers in ein Entwicklungsprojekt verwandelt, das Finanzierung, ein Team, Werkzeuge und Zeit benötigt. Daher erscheinen Hyperscaler als die naheliegendsten Kandidaten: Sie verfügen über die notwendigen Ressourcen, und ihre Workloads für künstliche Intelligenz sind stärker spezialisiert als die allgemeiner Webserver.
Diese Unternehmen können große Maschinengruppen für eine bestimmte Aufgabenart reservieren, wodurch eine gemeinsame Anpassung von Prozessor und Speicher wirtschaftlicher wird. Außerdem entwickelt sich die KI-Rechenleistung schneller weiter als die Standardisierung. Khurram Malik von Marvell wies darauf hin, dass die langsame Standardisierung durch JEDEC nicht mit dem Tempo mithalten kann, mit dem sich Hyperscaler bewegen. Die Anpassung könnte ihnen daher ermöglichen, auf neue Workloads zu reagieren, ohne auf einen offiziellen Standard zu warten.
Auch Unternehmen beginnen, den Bau eigener XPU-Einheiten zu prüfen, doch dieser Trend befindet sich noch in einer frühen Phase. Marvell liefert über seinen Bereich für kundenspezifisches Cloud-Computing ein praktisches Beispiel: Dort entwickelt das Unternehmen XPU-Einheiten für Kunden und strebt die Entwicklung einer kundenspezifischen HBM-Variante an, die die Anforderungen mehrerer Kunden erfüllen kann, statt für jeden Kunden vollständig separate Lösungen zu bauen.
Was ändert sich praktisch beim Chipdesign?
Bei der Anpassung des Basis-Dies wandert der Speichercontroller vom Host-Prozessorchip in den Basis-Die von HBM. Dafür muss vereinbart werden, wie der Prozessor mit dem Controller verbunden wird, beispielsweise über AXI, die erweiterbare Schnittstelle von Arm, oder über eine andere Methodik. Außerdem kann die Verbindungsschnittstelle zwischen Prozessor und Speicherpaket an das System angepasst werden.
Diese Änderung schafft Platz auf dem Rechenchip, da der Speichercontroller und die zugehörige PHY-Schnittstelle keine Signale mehr auf herkömmliche Weise zwischen separaten Chips treiben müssen. Malik erklärte, dass der Ersatz einer DRAM-PHY durch eine Die-to-Die-Schnittstelle wie UCIe den Kommunikationsblock um etwa 70 % kleiner als eine Standard-PHY machen könnte. Dadurch könnten die Rechenkapazitäten auf dem Prozessorchip um 25 % steigen, während der Energieverbrauch sinkt und die Effizienz der XPU insgesamt verbessert wird.
Der kundenspezifische Basis-Die könnte außerdem eine größere Anschlussfläche oder sogenannte „Küstenlinie“ des Chips bereitstellen. Dadurch könnten mehr HBM-Pakete angebunden und die den Recheneinheiten zur Verfügung stehende Speicherkapazität erhöht werden. Die Anpassung könnte auch Zuverlässigkeits-, Verfügbarkeits- und Wartungsfunktionen, die Erfassung von Telemetriedaten sowie deren Verwaltungsmechanismen innerhalb des Systems umfassen.
Wer entwirft das Paket und wer baut es?
Der Entwurf scheint die schwierigste der vier Projektphasen zu sein: Design, Fertigung und Test des Wafers, Montage sowie abschließender Test. Er erfordert ein Engineering-Team, Werkzeuge und eine klare Vorstellung davon, wie sich eine Erhöhung oder Anpassung des Speichers auf Leistung und Energieverbrauch auswirkt. Obwohl Speicherunternehmen über die nötige Erfahrung verfügen, sind ihre Ressourcen mit der Deckung der aktuellen Nachfrage ausgelastet, und möglicherweise haben sie keine dedizierten Teams für die Umsetzung einer großen Zahl kundenspezifischer Designs.
Daher könnte der Speicherkunde selbst, etwa ein Hyperscaler, oder ein fabless Designunternehmen wie Marvell den Entwurf übernehmen. Selbst bei der Wiederverwendung fertiger Designblöcke bleibt für jeden Kunden ein eigener Abstimmungs- und Optimierungsaufwand erforderlich, da die Anforderungen von Hyperscalern nicht identisch sind.
Die Fertigung und der Test des Wafers dürften in einer Logik-Foundry erfolgen, die nicht unbedingt dieselbe Foundry sein muss, die den standardmäßigen Basis-Die herstellt. Welche Partei für die Montage verantwortlich ist, wird durch die Projektvereinbarung festgelegt. Bei standardmäßigem HBM erhält das Speicherunternehmen den getesteten Logik-Die, montiert das Paket und testet das Endprodukt. Bei cHBM könnten sich das Speicherunternehmen, die Logik-Foundry und eine auf Montage spezialisierte Anlage diese Aufgaben teilen, oder der Kunde könnte einen größeren Teil der Integration in seiner Verantwortung behalten.
TSMC hat kürzlich eine Zusammenarbeit mit Winbond angekündigt. Dabei liefert Winbond die Speicherchips, während TSMC die Paketmontage übernimmt. Dieses Modell deutet darauf hin, dass die Paketintegration möglicherweise nicht auf die großen Speicherunternehmen beschränkt bleibt.
Entlastet cHBM den Druck durch den Speichermangel?
Synopsys erwartet nicht mehr als 20 Projekte pro Jahr unter Verwendung eines alternativen kundenspezifischen DRAM-Stackings, was die Begrenztheit dieses Ansatzes widerspiegelt. Außerdem erhöht cHBM nicht zwangsläufig die gesamte Marktnachfrage: Die Gesamtnachfrage nach Speicher wird sowohl standardmäßige als auch kundenspezifische Anwendungen umfassen. Die Auswirkungen hängen daher eher vom Produktmix als von einer Steigerung der Gesamtnachfrage ab.
Dennoch bleibt die Beschaffung von Speicher schwierig. Malik wies darauf hin, dass die verfügbaren Kapazitäten der Werke von Speicheranbietern für etwa anderthalb bis zwei Jahre ausverkauft seien und die Preise stiegen. Die Versorgungsplanung könnte komplexer werden, da die Zahl der kundenspezifischen Projekte und deren Fertigungsstandorte schwerer vorherzusagen sind als bei Standardpaketen.
Warum ist diese Entwicklung wichtig?
cHBM zeigt, dass der Wettbewerb bei KI-Systemen nicht nur die Erhöhung der Speicherkapazität betrifft, sondern die Integration von Speicher, Recheneinheit und Schnittstellen in einem einzigen Design. Kundenspezifische Pakete könnten bei derzeit laufenden Projekten innerhalb von ein oder zwei Jahren in Rechenzentren gelangen. Ihre Verbreitung wird jedoch weiterhin durch die Designkosten, die Verfügbarkeit von Engineering-Teams sowie die Fähigkeit der Partner zur Montage und Prüfung begrenzt. Daher scheint die Zukunft des Marktes aus mehreren Modellen zu bestehen und nicht aus einer einheitlichen Lösung, die für alle Kunden geeignet ist.