Der HBM-Speicher mit hoher Bandbreite stößt mit der anhaltenden Forderung von Systemherstellern nach höherer Bandbreite für die Verarbeitung von Aufgaben der künstlichen Intelligenz auf zunehmende physische und fertigungstechnische Grenzen. Wie auf der Hot Chips 2026 erörtert wurde, erhöht die bislang naheliegendste Lösung – weitere DRAM-Dies in das Package einzubringen – zugleich die Schwierigkeit beim Ausdünnen der Dies, beim Wärmemanagement, bei der Ausrichtung und beim Erreichen akzeptabler Ausbeuten.
HBM verwendet dreidimensionale Stapel aus Speicherdies über einem grundlegenden Logik-Die. Diese Schichten sind über Tausende oder Zehntausende vertikaler Durchkontakte durch Silizium (TSVs) miteinander verbunden. Eine höhere Anzahl dieser Verbindungen ermöglicht eine größere Bandbreite, beansprucht jedoch Fläche, die den Speicherzellen hätte zugewiesen werden können. Daher führt eine Leistungssteigerung nicht zu einer entsprechenden Erhöhung der Kapazität pro Wafer, sondern steigert im Vergleich zu herkömmlichem DRAM den Siliziumverbrauch und die Fertigungskapazität pro Bit.
Jede zusätzliche Schicht erhöht die Fertigungsrisiken
DRAM-Dies müssen ausgedünnt werden, damit die Höhe des HBM-Moduls innerhalb der Grenzen des Packages bleibt. Dünnere Dies sind jedoch während der Fertigung und des Packaging schwieriger zu handhaben und anfälliger für Verformungen. Dies wirkt sich auf die Handhabung der Wafer, die Ausrichtung der Bumps und die Verbindung der Dies untereinander aus. Außerdem erhöht ein höherer Stapel die Leistungsdichte und verlängert den Wärmeweg innerhalb des Moduls.
Mit jeder weiteren Schicht steigt die Wahrscheinlichkeit von Defekten. Es können Hohlräume im Underfill-Material oder strukturelle Fehler durch eine fehlerhafte Ausrichtung oder Prozessschwankungen auftreten. Jeder dieser Fehler kann den gesamten Stapel in teuren Ausschuss verwandeln, wodurch die Ausbeute unter Druck gerät und das tatsächlich verfügbare DRAM-Angebot sinkt.
SK hynix veranschaulichte diese Herausforderungen anhand seiner Arbeit an HBM-Stapeln mit 16 Dies. Jaesik Lee, Vice President of Package Engineering bei SK hynix America, sagte während seines Vortrags auf der Hot Chips 2026, dass eine Erhöhung der Würfelhöhe von 720 auf 775 Mikrometer zusätzlichen Spielraum schaffe. Die Dies müssten jedoch im Vergleich zu einem Stapel aus 12 Dies weiterhin um 10 % dünner werden. Zu den weiteren Herausforderungen gehören die Verringerung der Spalthöhe, die Reduzierung des Bump-Abstands und die Ausdünnung der Die-Wände sowie die höhere Leistungsdichte und Bandbreite.
Bandbreite geht zulasten der Fläche
Sangwook Han, Mitglied des Designteams bei Samsung Memory, sagte, dass HBM3E 128 Bänke pro DRAM-Die umfasst, während HBM4 256 Bänke pro Die erreicht. Diese Architektur benötigt mehr Datenpfade und Peripherieschaltungen, um die Dies mit dem Basischip und anschließend über die Microbumps und den Interposer mit einer GPU oder XPU zu verbinden.
Diese Architektur erklärt, warum sich die Leistung nur schwer durch eine bloße Beschleunigung der TSVs steigern lässt. Da eine Erhöhung der Geschwindigkeit dieser Verbindungen schwierig oder riskant sein kann, ging das Design dazu über, ihre Anzahl zu erhöhen. Eine größere TSV-Matrix beansprucht jedoch Fläche auf dem Die, weshalb der Abstand zwischen den TSVs kontinuierlich verringert werden muss. Die Erweiterung der PHY-Schaltungen für Ein- und Ausgabe auf dem Basischip sei laut Han komplexer.
Jim Handy von Objective Analysis schätzte in seiner Keynote, dass die pro Wafer erzeugte Speichermenge bei HBM ungefähr einem Drittel der Menge bei herkömmlichem DDR entspricht. Das bedeutet, dass die HBM-Produktion eine große Anzahl von Wafern verbraucht, während verschiedene DRAM-Typen auf ähnlichen Prozesslinien gefertigt werden. Daher kann eine steigende HBM-Nachfrage die gesamte DRAM-Versorgung unter Druck setzen.
Kühlung wird zu einer architektonischen Einschränkung
Die Wärme verteilt sich innerhalb eines HBM-Stapels nicht gleichmäßig. Der Basischip ist gewöhnlich am heißesten, weil er komplexere Aufgaben ausführt und Hochgeschwindigkeitsverbindungen enthält, während sich der Kühlkörper oben auf dem Stapel befindet. Die Höhe des Stapels fügt zwischen der Wärmequelle und der Kühllösung einen thermischen Widerstand hinzu.
Raghu Sreeramaneni, Fellow of HBM Design Architecture bei Micron, sagte, dass erhöhte Temperaturen das Auffrischen von DRAM-Zellen zu einem Zuverlässigkeitsproblem machen können. Deshalb sind thermische Lösungen zu einem Faktor geworden, der das Systemdesign selbst bestimmt, anstatt erst nach Abschluss des Designs als nachträglicher Schritt hinzuzukommen. Dies ist ein wichtiger Punkt für Entwickler von Systempackages, die mehrere GPU- und HBM-Module auf einer Fläche zusammenfassen.
Warum ist diese Nachricht wichtig?
Die Analyse verknüpft die HBM-Beschränkungen mit einem umfassenderen Problem auf dem Speichermarkt. Handy nannte drei Gründe für den DRAM-Mangel: die beschleunigten Ausgaben für künstliche Intelligenz und die Nachfrage nach Hochgeschwindigkeitsspeicher, die geringere Verfügbarkeit von DRAM-Wafern, weil HBM pro Bit mehr davon verbraucht, sowie unzureichende Fertigungskapazitäten, um mit der Nachfrage Schritt zu halten.
Die Quelle weist darauf hin, dass Unternehmen seit mehr als zehn Jahren keine neuen Fertigungskapazitäten hinzugefügt haben, weil das Marktwachstum durch eine Erhöhung der Gigabyte-Zahl pro Wafer bewältigt werden konnte, anstatt neue Fabriken zu bauen. Heute dauert die Errichtung einer neuen DRAM-Fabrik mindestens zwei Jahre und kann je nach Verfügbarkeit von Energie, Wasser und Arbeitskräften sowie aufgrund von Umweltauflagen länger dauern. Es gibt bislang keine Garantie dafür, dass die im Bau befindlichen Erweiterungen ausreichen werden, um das Gleichgewicht bei Preisen und Angebot wiederherzustellen.
Eine weitere Lücke zeigt sich zwischen dem Wachstum der Rechen- und der Speicherkapazitäten. Laut Sreeramaneni wächst die Rechenleistung alle zwei Jahre ungefähr um das Dreifache, während HBM im selben Zeitraum etwa um das Doppelte wächst. Das bedeutet, dass die „Memory Wall“ nicht verschwunden ist, sondern sich weiter verschärfen könnte.
Künftige Entwicklungspfade
Die Industrie untersucht Verbesserungen, die über das Hinzufügen weiterer Schichten hinausgehen. Dazu gehören optimierte SerDes-PHYs für Speicher, größere Interposer oder Interposer aus anderen Materialien, Kanäle mit höherer Bandbreite sowie künftig möglicherweise der Einsatz optischer Technologien. Außerdem könnten sich die Verbindungsverfahren von thermokompressionsbasierten Microbumps hin zu Fusion Bonding und Hybrid Bonding verlagern. Diese unterstützen Abstände bis in den einstelligen Mikrometerbereich und könnten den thermischen Widerstand durch die Verringerung der isolierenden Schichten zwischen den Dies reduzieren.
Die Quelle bietet keine schnelle Lösung für den Mangel oder die thermischen Einschränkungen. Sie verdeutlicht jedoch, dass die Erweiterung von HBM von einer Frage der Erhöhung der Speicherdichte zu einer Herausforderung für die gesamte Systemarchitektur geworden ist: von Fertigungsprozess und Ausbeute über Packaging und Kühlung bis hin zum Ort der Datenverarbeitung. Mit der weiteren Verbreitung künstlicher Intelligenz könnte dies zu einer verteilten Verarbeitung führen, die die Verarbeitung im Speicher oder im Sensor am Rand einschließt und die Menge der an Rechenzentren übertragenen Daten reduziert.