Veri merkezleri, daha sürekli hâle gelen ve enerji tüketimi açısından daha yoğunlaşan yapay zekâ iş yüklerinin büyümesinin etkisiyle, 1 megavata kadar tüketebilecek rafları barındırmak üzere altyapılarını yeniden tasarlamaya yöneliyor. Ancak bu eğilim, ölçek büyütmenin en iyi yoluna ilişkin tartışmayı çözüme kavuşturmuyor: Son derece yüksek yoğunluklu raflara daha fazla işlem birimi mi sıkıştırılmalı, yoksa bilgi işlem daha dağınık bir mimari üzerinden mi yeniden dağıtılmalı?
Semiconductor Engineering’e göre megavatlık raflara geçiş yalnızca hızlandırıcıların sayısını artırmakla sınırlı değil; soğutma, güç bağlantıları, raf tasarımı, ağ bağlantısı ve entegre devrelerin üç boyutlu paketlenmesinde temel değişiklikler gerektiriyor. Aynı zamanda optik teknolojiler, özel amaçlı çipler ve dağıtık bilgi işlem, tüm bu gücü tek bir alanda yoğunlaştırma ihtiyacını azaltabilir.
Sunucu kutusundan entegre bilgi işlem sistemine
Google, Meta ve Microsoft, megavatlık rafları destekleyecek standartlar oluşturmak amacıyla OCP’ye bağlı ve Diablo çerçevesi üzerine kurulu Mount Diablo projesi kapsamında çalışıyor. İş birliği; rafların mekanik yapısı, soğutma, sıvı yönetimi, su akışı ve güç kaynakları gibi unsurları kapsarken, her bulut sağlayıcısı uygulama konusunda kendi yolunu izliyor.
Cadence’den Arif Khan, rafın artık yalnızca bir grup sunucuyu barındıran pasif bir yapı olmadığını belirtiyor. Artan bilgi işlem yoğunluğu ve elektriksel ve sinyal bağlantılarının sayısı, GPU birimlerinin büyümesi ve güç tüketimlerinin artmasıyla birlikte raf; sıvı soğutmayı, güç raflarını, bara sistemlerini, ağ anahtarlarını ve sistem yönetimini içeren entegre bir tasarım birimine dönüşüyor. Bu yaklaşım Nvidia DGX gibi raf düzeyindeki platformlarda görülüyor.
Google, elektrikli araç sektöründe geliştirilen teknolojilerden ve edinilen deneyimlerden yararlanarak veri merkezinde ±400 voltluk doğru akım güç dağıtımı öneriyor. Dağıtım geriliminin yükseltilmesi, 1 megavata kadar güçle çalışırken akımı, kayıpları ve kablo karmaşıklığını azaltmaya yardımcı oluyor.
Mekanik düzeyde ise Open Rack Wide ya da ORW tasarımı, daha büyük, daha ağır ve enerji yoğunluğu daha yüksek yapay zekâ sistemlerini barındırmak üzere Open Compute Project altyapısının kapasitesini genişletiyor. ORW’nin genişliği, ek yapısal güçlendirmelerle birlikte ORV3 rafının genişliğinin yaklaşık iki katına ulaşıyor. AMD bu yaklaşımı, Meta’nın 2025’te OCP’ye sunduğu ORW spesifikasyonuna dayanan Helios mimarisinde kullanırken, Nvidia raf düzeyindeki DGX sistemlerini daha geleneksel raf boyutları içinde konumlandırıyor.
Üç boyutlu paketleme ve güç zorlukları
Yoğunluk arttıkça 3D-IC tasarımı daha önemli hâle geliyor. Makalede Synopsys’ten Daniel Wilkinson’ın görüşlerine yer veriliyor: Büyük bulut hizmeti sağlayıcıları, hesaplama kalıplarını üst üste yerleştirmeyi inceliyor; olasılıklar arasında ara taşıyıcı üzerindeki kalıp sayısını artırmak veya iki kalıbı birlikte istiflemek bulunuyor. Ancak bu yapılar mekanik karmaşıklıkları, üretim verimiyle ilgili zorlukları ve verilerin büyük mesafeler üzerinden taşınmasının güçlüğünü artırıyor.
Çözümler işlemcinin niteliğine göre farklılık gösterebilir. Google’ın TPU’su gibi bazı tasarımlar büyük bir hesaplama dizisine dayanırken, diğer tasarımlar GPU yaklaşımına benzer şekilde daha fazla sayıda küçük çekirdeğe yöneliyor. Bunun sonucunda istifleme yöntemleri, bağlantı adresleme gereksinimleri ve temel IP bakımından farklılıklar ortaya çıkıyor.
Rambus’tan Steven Woo’ya göre raflardaki güç yoğunluğu 20 yıl önce yaklaşık 4 kilovattan bugün 100 kilovatın üzerine çıktı. 12 volttan 48 volta ve muhtemelen 480 ya da 800 volta geçiş, aynı gücün daha düşük akımla iletilmesini mümkün kılıyor; bu da daha kalın bakır bağlantı elemanlarına duyulan ihtiyacı azaltıyor.
Infineon Technologies’den Christian Hoefling, GPU birimlerinin tepe akımlarının bu on yılın sonunda birim başına 10.000 ampere ulaşabileceği konusunda uyarıyor; bu değer, önceki CPU sistemlerindeki çok daha düşük aralıklara kıyasla oldukça yüksek. Güç kayıpları akımın karesiyle orantılı olduğundan, bağlantı direnci sabit kalırken akımın iki katına çıkarılması kaybı büyük ölçüde artırıyor. Bu nedenle gigavat ölçeğindeki veri merkezlerinin, güç dönüşüm aşamalarını azaltmak ve raflara güç iletimini basitleştirmek için yüksek gerilimli doğru akım güç dağıtımına geçmesi bekleniyor.
En yüksek yoğunluklu raf tek yol mu?
Tartışmaya katılan herkes, raf gücünü artırmanın ölçek büyütme için en iyi yol olduğu konusunda hemfikir değil. Quadric’ten Steve Roddy, daha özel amaçlı çiplerin bir araya getirilmesiyle bazı dağıtık bilgi işlem biçimlerine dönüşün, veri merkezlerindeki güç yoğunluğunu azaltabileceğini düşünüyor. Eğitim veya çıkarım için özel olarak tasarlanan çipler watt başına daha yüksek çıkarım sunabilir; ayrıca token üretimi, merkezi modellerle paralel olarak milyonlarca ev ve işletmeye dağıtılabilir.
Ayar Labs, Vishal Chandrasekar’ın aktardığına göre megavatlık rafların yaygınlaşmayacağına inanıyor. GPU birimlerini birbirine yakın tutup bakıra güvenmek yerine, bağlantı kapsamını ölçekleme alanı içinde 500.000 veya daha fazla birime genişletmek için optik bağlantı kullanılabilir. Böylece GPU birimleri, örneğin her rafı 200 kilovatta tutup on rafı optik olarak bağlayarak bir rafın ya da daha yüksek güçlü rafların performansına yaklaşık olarak ulaşacak şekilde bütün bir raf sırasına dağıtılabilir; bu da güç dağıtımının ve zeminlerin taşıyabileceği ağırlık kapasitesinin her iki yılda bir tamamen yeniden tasarlanmasını gerektirmez.
Raf yoğunluğunun azaltılması, hızlandırıcı sayısını artırmanın daha iyi performansı garanti ettiği anlamına gelmiyor. Binlerce GPU biriminin uyumlu bir sistem olarak çalışmasını sağlamada bağlantı verimliliği, bellek bant genişliği, gecikme, toplu işlemlerin verimliliği ve birlikte çalışabilirlik belirleyici faktörler. UALink gibi ölçekleme için açık bağlantı standartları burada önem kazanıyor.
Ajan iş yükleri tasarımı ve takvimi zorluyor
Uzun süre çalışan aracılı yapay zekâ iş yükleri, tasarımcıları ortalama tüketime dayanan varsayımlardan vazgeçip aralıklı tepe değerlerle başa çıkmaya yöneltiyor. Siemens EDA’dan Sathishkumar Balasubramanian’a göre bu iş yüklerinin bazıları, güç ve ısının dikkatle analiz edilmesiyle birlikte neredeyse her zaman tepe güce yakın çalışma varsayımı gerektiriyor. Düzensiz kullanım ve zaman zaman 24 saat kesintisiz çalışma, tüm güç ve soğutma sisteminin bu senaryoya göre tasarlanmasını zorunlu kılıyor.
Sık bağlam değişimleri ile modellerin kaydedilmesi, askıya alınması ve geri yüklenmesine ilişkin gereksinimler sistem hızının önemini artırıyor. Buna karşılık istiflenmiş kalıp mimarileri ve yoğun dönüşümler, doğrulama ve uygulama sırasında termal haritanın ve fiziksel etkilerin anlaşılmasını zorlaştırıyor.
Bu durum, pazar penceresinin daralmasıyla aynı zamana denk geliyor. Synopsys’ten Manmeet Walia, bazı ürünlerin üretime geçmek için yalnızca bir yıla sahip olduğunu, spesifikasyonların ise 1,5 ila 2 yıl arasında bir sürede belirlendiğini söylüyor. HBM ve bellekle ortak paketleme gibi yeni teknolojiler için test çiplerinin geliştirilmesi de geliştirme döngüsünün aylarca sürmesine neden oluyor. Hızlandırıcı programlarının maliyeti 1 milyar dolara ulaşabilir; bu da doğrulanmamış veya onaylanmamış IP kullanımını büyük bir risk hâline getiriyor.
Herkese uyan tek mimari yerine çözüm parçalanması
Makale, tüm çıkarım iş yüklerinin 1 megavatlık bir rafta çalışmayabileceği olasılığını ortaya koyuyor. Orta ölçekli modeller, çıkarım iş yüklerinin büyük bölümünü oluşturabilirken eğitim işlemleri ve daha büyük modeller farklı bir mimariye ihtiyaç duyabilir. Bulut hizmeti sağlayıcıları da Nvidia veya AMD ürünleri ile özel kurum içi mimarileri içeren birden fazla platforma güvenebilir.
Wilkinson, kurumların yerel teknik odalara mutlaka üç ton ağırlığında ve 500 kilovat tüketen bir raf yerleştirmeyeceğine işaret ediyor; bu da yerel sahaların kapasitesi dâhilinde çalışan ve yalnızca büyük dil modelleriyle sınırlı olmayan iş yüklerine yönelik çözümlere alan açıyor. Makalenin vardığı sonuç, megavatlık rafın tek tek raflarla ilgili bir sorun değil, elektrik şebekesinden çipe, çipten soğutucuya ve bir hızlandırıcıdan diğerine uzanan bir sistem entegrasyonu sorunu olduğudur.