HBM4, yüksek bant genişlikli belleğin tasarlanma biçiminde bir dönüm noktasını temsil ediyor; standart temel mantık kalıbının yerine belirli iş yükleri veya işlemciler için özelleştirilmiş bir kalıp kullanılmasına olanak tanıyor. Bu, özellikle hiper ölçekli bilişim şirketlerine belleği herkesin kullanımına açık standart bir ürünle yetinmek yerine özel XPU işlem birimleriyle uyumlu hâle getirme imkânı veriyor.
Bu, geleneksel HBM paketleriyle aynı şekilde satın alınabilecek yeni ve standart bir ürünün ortaya çıkacağı anlamına gelmiyor. Özel bellek veya cHBM uygulamalarının her biri; temel kalıbı kimin tasarlayacağını, kalıbı ve yongayı kimin üreteceğini ve test edeceğini, bellek katmanlarını kimin birleştireceğini ve nihai testi kimin gerçekleştireceğini belirleyen bir anlaşma gerektiriyor. Metne göre yanıtlar, projeye ve projeye katılan müşterilere göre değişecek.
HBM4 ile ne değişti?
Bir HBM paketi, çoğu bellek kalıbı olan birden fazla katmandan oluşuyor; en altta ise paket içindeki yönetim, adresleme ve kontrol görevlerini üstlenen bir mantık yongası bulunuyor. HBM3'e kadar Micron, Samsung ve SK hynix gibi bellek şirketleri temel kalıp da dâhil olmak üzere tüm kalıpları tasarlayıp üretiyordu.
HBM4 ile temel kalıp, DRAM süreçlerine yakın bir süreç kullanmak yerine daha gelişmiş mantık üretim süreçlerine taşındı. Büyük olasılıkla 4 nanometre veya daha yeni düğümlere dayanacak; DRAM kalıpları ise bu süreçlere geçmeyecek. Bu nedenle bir mantık dökümhanesi temel kalıbı üretebilir, ardından standart sürümde bellek şirketi paketi birleştirip test edebilir.
HBM4 ve sonraki nesiller, bu standart kalıbın yerine özel bir kalıp kullanma seçeneğini ekliyor. Bellek katmanlarının kendisi zorunlu olarak değişmiyor; özelleştirme, kontrol mantığına, arayüzlere ve yönetim özelliklerine odaklanıyor. Bu da paketin sistem tasarımıyla uyumlu hâle getirilmesini sağlıyor.
Özelleştirme neden hiper ölçekli bilişim şirketlerini hedefliyor?
Standart HBM kullanmak hazır modüllerin satın alınmasını gerektirirken, özelleştirme bellek edinme sürecini finansman, ekip, araçlar ve zaman gerektiren bir tasarım projesine dönüştürüyor. Bu nedenle hiper ölçekli bilişim şirketleri en belirgin adaylar olarak öne çıkıyor; gerekli kaynaklara sahipler ve yapay zekâ iş yükleri genel web sunucusu iş yüklerinden daha uzmanlaşmış durumda.
Bu şirketler makinelerin büyük kümelerini belirli bir görev türüne ayırabilir; bu da işlemciyi ve belleği birlikte değiştirmeyi daha anlamlı hâle getiriyor. Ayrıca yapay zekâ bilişiminin gelişim hızı, standartların oluşturulma hızından daha yüksek. Marvell'den Khurram Malik, JEDEC'in standardizasyon sürecindeki yavaşlığın hiper ölçekli bilişim şirketlerinin hareket hızına ayak uyduramadığına dikkat çekti. Bu nedenle özelleştirme, resmî bir standardı beklemeden yeni iş yüklerine yanıt vermeleri için bu şirketlere bir yol sağlayabilir.
Kurumsal şirketler de kendi özel XPU'larını oluşturmayı değerlendirmeye başladı; ancak bu eğilim hâlâ erken aşamada. Marvell, müşteriler için XPU'lar geliştirdiği özel bulut bilişim birimi üzerinden pratik bir örnek sunuyor ve her müşteri için tamamen ayrı bir çözüm oluşturmak yerine, birden fazla müşterinin gereksinimlerini karşılayabilecek özel bir HBM sürümü tasarlamaya çalışıyor.
Yonga tasarımında pratik olarak ne değişiyor?
Temel kalıp özelleştirildiğinde bellek denetleyicisi, ana işlemci yongasından HBM'nin temel kalıbının içine taşınıyor. Bu da işlemcinin denetleyiciye nasıl bağlanacağının kararlaştırılmasını gerektiriyor; bağlantı Arm'ın ölçeklenebilir arayüzü AXI kullanılarak veya başka bir yöntemle yapılabilir. İşlemci ile bellek paketi arasındaki bağlantı arayüzü de sisteme uyacak şekilde iyileştirilebilir.
Bu değişiklik işlem yongasında alan açıyor; çünkü bellek denetleyicisi ve ona bağlı PHY arayüzü artık geleneksel yöntemde olduğu gibi ayrı yongalar arasındaki sinyalleri sürmek zorunda kalmıyor. Malik, DRAM PHY'nin UCIe gibi bir die-to-die arayüzüyle değiştirilmesinin bağlantı bloğunu standart PHY'ye kıyasla yaklaşık %70 küçültebileceğini ve işlemci yongasındaki bilişim kapasitesinin %25 artırılmasına olanak tanıyabileceğini belirtti. Bunun yanı sıra enerji tüketimi azalabilir ve XPU'nun genel verimliliği iyileşebilir.
Özel temel kalıp, daha geniş bir bağlantı alanı veya yonganın “sahil şeridi” olarak adlandırılan kısmını da sağlayabilir. Bu, daha fazla HBM paketinin bağlanmasına ve bilişim birimlerinin kullanabileceği bellek kapasitesinin artırılmasına imkân tanıyabilir. Özelleştirme; güvenilirlik, kullanılabilirlik ve servis kolaylığı işlevlerini, ayrıca telemetri verilerinin toplanmasını ve bunların sistem içindeki yönetim mekanizmalarını da kapsayabilir.
Paketi kim tasarlayıp kim üretecek?
Tasarım, projenin dört aşaması içinde en zor aşama gibi görünüyor: tasarım, yonga üretimi ve testi, montaj ve nihai test. Bu aşama bir mühendislik ekibi, araçlar ve bellek kapasitesindeki artışın veya bellek değişikliğinin performans ile enerjiyi nasıl etkileyeceğine dair net bir vizyon gerektiriyor. Bellek şirketleri uzmanlığa sahip olsa da kaynakları mevcut talebi karşılamakla meşgul ve çok sayıda özel tasarımı hayata geçirmek için özel ekipleri olmayabilir.
Bu nedenle tasarımı, hiper ölçekli bir bilişim şirketi gibi belleğin müşterisi veya Marvell gibi fabrikasız bir tasarım şirketi üstlenebilir. Hazır tasarım blokları yeniden kullanılsa bile her müşteri için özel ayarlama ve optimizasyon gerekecek; çünkü hiper ölçekli bilişim şirketlerinin gereksinimleri birbirinin aynısı değil.
Yonganın üretimi ve testinin bir mantık dökümhanesinde gerçekleşmesi bekleniyor; bu dökümhane standart temel kalıbı üreten dökümhane olmayabilir. Montajdan hangi tarafın sorumlu olacağını proje anlaşması belirleyecek. Standart HBM4'te bellek şirketi test edilmiş mantık kalıbını alır, paketi birleştirir ve nihai ürünü test eder. cHBM'de ise bellek şirketi, mantık dökümhanesi ve uzmanlaşmış bir tesis bu sorumlulukları paylaşabilir veya müşteri entegrasyon üzerindeki mülkiyetini daha büyük ölçüde koruyabilir.
TSMC kısa süre önce Winbond ile iş birliğini duyurdu. Winbond bellek yongalarını sağlarken TSMC paket montajını üstleniyor. Bu model, paket entegrasyonunun başlıca bellek şirketleriyle sınırlı kalmayabileceğine işaret ediyor.
cHBM bellek kıtlığının baskısını azaltır mı?
Synopsys, alternatif özel DRAM yığınlama kullanan projelerin yılda 20'den fazla olmasını beklemiyor; bu da bu yaklaşımın sınırlı kapsamını yansıtıyor. cHBM toplam pazar talebini zorunlu olarak artırmıyor; belleğe yönelik toplam talep standart ve özel uygulamaları kapsayacak. Bu nedenle etkisi toplam talepteki artıştan çok ürün karmasıyla ilgili.
Bununla birlikte belleğe erişim hâlâ zor. Malik, bellek tedarikçilerinin fabrikalarındaki mevcut kapasitenin yaklaşık bir buçuk ila iki yıl boyunca satılmış durumda olduğunu ve fiyatların yükseldiğini belirtti. Tedarik planlaması da daha karmaşık hâle gelebilir; çünkü özel projelerin sayısını ve üretim yerlerini öngörmek standart paketleri planlamaktan daha zor.
Bu gelişme neden önemli?
cHBM, yapay zekâ sistemlerindeki rekabetin yalnızca bellek kapasitesini artırmakla ilgili olmadığını; belleği, işlem birimini ve arayüzleri tek bir tasarımda birleştirmeyi de kapsadığını gösteriyor. Özel paketler, hâlihazırda devam eden projeler için bir veya iki yıl içinde veri merkezlerine ulaşabilir. Ancak yaygınlaşmaları tasarım maliyeti, mühendislik ekiplerinin bulunabilirliği ve ortakların montaj ile test kapasitesi tarafından sınırlandırılmaya devam edecek. Bu nedenle pazarın geleceği tüm müşterilere uyacak tek bir çözümden ziyade çoklu modeller şeklinde görünüyor.