Yüksek bant genişlikli bellek HBM, yapay zekâ iş yüklerinin işlenmesi için sistem şirketlerinin daha yüksek bant genişliği talep etmeyi sürdürmesiyle birlikte artan fiziksel ve üretimsel sınırlarla karşı karşıya. Hot Chips 2026'da ele alınanlara göre şimdiye kadarki en doğrudan çözüm olan pakete daha fazla DRAM kalıbı eklemek; kalıpların inceltilmesini, ısı yönetimini, hizalamayı ve kabul edilebilir verimlilik oranlarının korunmasını daha zor hâle getiriyor.
HBM, temel bir mantık kalıbının üzerinde bellek kalıplarından oluşan üç boyutlu istifler kullanır ve bu katmanlar, silikon üzerinden binlerce veya on binlerce dikey bağlantı (TSV) aracılığıyla birbirine bağlanır. Bu bağlantıların sayısının artırılması daha yüksek bant genişliği sağlar, ancak bellek hücrelerine ayrılabilecek alanı tüketir. Bu nedenle performanstaki artış, yonga başına kapasitede paralel bir artış sağlamaz; bunun yerine geleneksel DRAM'e kıyasla bit başına silikon ve üretim kapasitesi tüketimini artırır.
Her ek katman üretim risklerini artırıyor
HBM modülünün yüksekliğinin paket sınırları içinde kalması için DRAM kalıplarının inceltilmesi gerekir. Ancak daha ince kalıpların üretim ve paketleme sırasında taşınması zorlaşır ve eğilmeye daha yatkın hâle gelir. Bu durum yongaların taşınmasını, çıkıntıların hizalanmasını ve kalıpların birbirine bağlanmasını etkiler. Ayrıca istifin yükselmesi, güç yoğunluğunu artırır ve modül içindeki termal yolu uzatır.
Her yeni katmanla birlikte kusur olasılığı da artar. Alt dolgu malzemesinde (underfill) boşluklar veya hizalama hataları ya da süreç farklılıkları nedeniyle yapısal kusurlar oluşabilir. Bu kusurlardan herhangi biri tüm istifi yüksek maliyetli bir hurdaya dönüştürebilir; bu da verimlilik üzerinde baskı oluşturur ve gerçek DRAM arzını azaltır.
SK hynix, 16 kalıplı HBM istifleri üzerindeki çalışmalarıyla bu zorluklara bir örnek sundu. SK hynix America paket mühendisliği başkan yardımcısı Jaesik Lee, Hot Chips 2026'daki konuşması sırasında küp kalınlığının 720'den 775 mikrona çıkarılmasının ek bir pay sağladığını, ancak kalıpların 12 kalıplı bir istif yüksekliğine kıyasla yine de %10 oranında inceltilmesi gerektiğini söyledi. Diğer zorluklar arasında boşluk yüksekliğinin azaltılması, çıkıntı aralığının daraltılması, kalıp duvarlarının inceltilmesi ve ayrıca artan güç yoğunluğu ile bant genişliği yer alıyor.
Bant genişliği alan pahasına geliyor
Samsung Memory tasarım ekibi üyesi Sangwook Han, HBM3E'nin her DRAM kalıbında 128 banka, HBM4'ün ise kalıp başına 256 banka barındırdığını söyledi. Bu yapı, kalıpları temel kalıba, ardından da mikro bağlantılar ve ara katman (interposer) üzerinden GPU veya XPU'ya bağlamak için daha fazla veri yolu ve çevre devresi gerektiriyor.
Bu yapı, performansı yalnızca TSV'leri hızlandırarak artırmanın neden zor olduğunu açıklıyor; zira bu bağlantıların hızını artırmak zor veya riskli olabilir ve bu nedenle tasarım, bağlantıların sayısını artırmaya yönelmiştir. Ancak daha büyük TSV matrisi kalıp üzerinde alan tüketir ve bu da aralarındaki mesafenin sürekli azaltılmasını zorunlu kılar. Han'a göre temel kalıptaki giriş-çıkış PHY devrelerini genişletmek ise daha karmaşıktır.
Objective Analysis'ten Jim Handy, ana konuşması sırasında HBM'de yonga başına elde edilen bellek miktarının geleneksel DDR'ye kıyasla yaklaşık üçte bir düzeyinde olduğunu tahmin etti. Bu, HBM üretiminin çok sayıda yonga tükettiği anlamına geliyor; farklı DRAM türleri birbirine yakın üretim süreçlerine sahip hatlarda üretildiğinden HBM talebindeki artış, tüm DRAM arzı üzerinde baskı oluşturabilir.
Soğutma mimari bir kısıta dönüşüyor
HBM istifinin içindeki ısı eşit biçimde dağılmaz. Temel kalıp genellikle daha karmaşık işlemler gerçekleştirdiği ve yüksek hızlı bağlantılar barındırdığı için en sıcak bölüm olur; buna karşılık ısı dağıtıcı istifin üst kısmında bulunur. İstifin yüksekliği, ısı kaynağı ile soğutma aracı arasındaki termal direnci artırır.
Micron'da HBM tasarım mimarisi mühendisi olan Raghu Sreeramaneni, artan sıcaklığın DRAM hücrelerinin yenilenmesi işlemlerini bir güvenilirlik sorununa dönüştürebileceğini söyledi. Bu nedenle termal çözümler, tasarım tamamlandıktan sonra ele alınan sonraki bir adım olmaktan çıkarak sistem tasarımının kendisini yönlendiren bir faktör hâline geldi. Bu, birden fazla GPU ve HBM modülünü tek bir alanda birleştiren sistem paketi tasarımcıları için önemli bir nokta.
Bu haber neden önemli?
Analiz, HBM kısıtlarını bellek pazarındaki daha geniş bir sorunla ilişkilendiriyor. Handy, DRAM kıtlığının üç nedenini belirledi: yapay zekâya yönelik hızlanan harcamalar ve yüksek hızlı bellek talebi, HBM'nin bit başına daha fazla miktar tüketmesi nedeniyle DRAM yongalarının bulunabilirliğinin azalması ve üretim kapasitesinin talebe ayak uyduramaması.
Kaynak, şirketlerin pazar büyümesinin yeni fabrikalar kurmak yerine yonga başına gigabayt sayısını artırmaya izin vermesi nedeniyle on yılı aşkın süredir yeni üretim kapasitesi eklemediğine işaret ediyor. Ancak artık yeni bir DRAM fabrikasının kurulması en az iki yıl sürüyor; bu süre enerji, su ve iş gücünün bulunabilirliği ile çevresel kısıtlara bağlı olarak daha da uzayabilir. İnşa hâlindeki genişletmelerin arz ve fiyat dengesini yeniden kurmaya yeteceğini garanti eden bir durum da henüz yok.
Hesaplama kapasitesindeki büyüme ile bellek arasındaki başka bir fark da ortaya çıkıyor. Sreeramaneni'ye göre hesaplama kapasitesi her iki yılda yaklaşık üç kat artarken HBM aynı dönemde yaklaşık iki kat büyüyor; bu da “bellek duvarının” ortadan kalkmadığı, aksine daha da belirginleşebileceği anlamına geliyor.
Gelecekteki geliştirme yolları
Sektör, yeni katmanlar eklemenin ötesine geçen iyileştirmeleri araştırıyor. Bunlar arasında bellek için geliştirilmiş SerDes PHY'ler, daha büyük veya farklı malzemelerden üretilmiş ara katmanlar, daha yüksek bant genişlikli kanallar ve gelecekte optik teknolojilerin kullanılması yer alıyor. Ayrıca bağlantı süreçleri, termal sıkıştırmaya dayalı microbump'lar yerine fusion bonding ve hybrid bonding yöntemlerine kayabilir. Bu yöntemler tek haneli mikron aralığına kadar mesafeleri destekleyebilir ve kalıplar arasındaki yalıtkan katmanların azaltılması sayesinde termal direnci düşürebilir.
Kaynak, kıtlık veya termal kısıtlar için hızlı bir çözüm sunmuyor. Ancak HBM'nin genişletilmesinin bellek yoğunluğunu artırma meselesi olmaktan çıkarak sistemin tüm mimarisini ilgilendiren bir zorluğa dönüştüğünü açıklıyor: üretim süreci ve verimlilikten paketleme ve soğutmaya, oradan da verilerin nerede işleneceğine kadar. Yapay zekânın yaygınlaşması sürdükçe bu durum; bellek içinde veya uçta sensör içinde işlemeyi içeren dağıtık işlemeye ve veri merkezlerine gönderilen veri miktarının azaltılmasına doğru bir yönelimi teşvik edebilir.