Yapay zekâ veri merkezlerinin mimarisi; merkezi işlem birimlerini (CPU’lar), grafik işlem birimlerini (GPU’lar), nöral işlem birimlerini (NPU’lar) ve özel amaçlı hızlandırıcıları, yüksek bant genişlikli belleğin yanı sıra bakır ve optik bağlantı teknolojileriyle bir araya getiren heterojen hesaplama kümelerine doğru ilerliyor. Bu dönüşüm, model eğitimi ve çıkarım görevlerinin farklı doğasını yansıtıyor. Özellikle de paralel hesaplama, durum yönetimi, karar alma ve araç çağrılarının yürütülmesini birlikte gerektiren aracı tabanlı yapay zekâ uygulamalarının büyümesiyle bu durum daha da belirginleşiyor.
Bu değerlendirmeler, Semiconductor Engineering tarafından Arm’dan Satadal Bhattacharjee, Axiomise’den Ashish Darbari, Cadence’den Moshiko Emmer, Expedera’dan Sharad Chole, Siemens EDA’dan Cameron Brunner ve Synopsys’ten Sumit Vishwakarma’nın katılımıyla düzenlenen bir tartışmada dile getirildi. Bu metin, yapay zekâ veri merkezlerinin mimarisindeki değişim üzerine yürütülen tartışma dizisinin üçüncü ve son bölümünü oluşturuyor.
Güçlü bir sunucudan dağıtık sisteme
Çok işlemcili kümeler, mühendislik probleminin doğasını değiştiriyor. İşlem, bellek, giriş-çıkış arasında denge kuran tek bir sunucu tasarlamak yerine performans; iş yüklerinin bölümlendirilmesine, iletişim modellerine ve bağlantı ağının verileri taşıma ve eşzamanlama işlemlerini verimli biçimde gerçekleştirme kapasitesine bağlı hâle geliyor.
Katılımcılar; Tensor parallel, data parallel, context parallel ve pipeline parallel gibi farklı paralellik modellerinin farklı ağ topolojileri gerektirdiğini belirtti. Hat üzerinden paralellik ardışık aşamaları birbirine bağlarken tensör paralelliği geniş kapsamlı toplama işlemlerinin ardından sonuçların yeniden yayınlanmasını gerektiriyor. Bu nedenle bağlantı ağının seçimi, kümeden ayrı bir bileşen olmaktan ziyade kümenin tanımının bir parçası hâline geliyor.
Modeller büyüdükçe belleğin önemi de artıyor. Sabit model parametrelerinin yanı sıra, işlenen isteklerin sayısından ve sistemin tuttuğu bilgi miktarından etkilenen değişken bir bağlam bulunuyor. Bu nedenle HBM belleğinin maliyeti ve kullanım biçimi, özellikle saniyede işlenen istek sayısını artırmaya çalışan veri merkezlerinde GPU birimlerinin verimliliğini etkileyen iki faktör olarak öne çıkıyor.
Çıkarımın uzmanlaşmış kümeler arasında bölümlendirilmesi
Satadal Bhattacharjee’ye göre önemli yönelimlerden biri, çıkarım hattının ayrı aşamalara bölümlendirilmesi. Süreç, istemi işleyen ve ondan ne istendiğini belirleyen, hesaplama açısından yoğun bir aşama olan prefill aşamasıyla başlıyor. Ardından yanıtı oluşturan decode aşaması geliyor; bunu da araç çağırma veya belirli bir eylemi gerçekleştirme gibi görevlerin aracılar tarafından yürütülmesi izliyor.
Bu modelde bir donanım ve yazılım kümesi prefill aşamasına, başka bir küme decode aşamasına, bir hesaplama kümesi de aracıların görevlerini yürütmesine ayrılabilir. Ardından bu kümeler, tartışmaya göre çoğunlukla Ethernet üzerinden birbirine bağlanabilir. Böylece tüm aşamaları yürütmek için tek bir GPU çalıştırmak yerine her donanım türü kendisine uygun görevde kullanılabilir.
Bhattacharjee, Nvidia’nın bir prefill kümesinde Groq 3 LPU kullanacağını açıklamasına değinerek çıkarımın birden fazla işlemci türüne ihtiyaç duyabileceğine örnek verdi. Ayrıca DigitalOcean’ın AMD ve Nvidia donanımlarını içeren heterojen kümeleri kullanmaya uygun, beş katmanlı bir çıkarım mimarisi kurduğunu ve daha sonra yeni donanımların eklenmesine olanak tanıdığını açıkladığını belirtti.
Yazılım koordinasyon halkasıdır
CPU’ları, GPU’ları, NPU’ları ve hızlandırıcıları tek bir sistemde bir araya getirmek tek başına yeterli değil. Yazılımın her bileşenin özelliklerini bilmesi, her aşamanın nerede yürütüleceğine karar vermesi ve veri aktarımı, zamanlama, bekleme ve API’lere erişim noktalarını koordine etmesi gerekiyor. CPU birimleri durum yönetimi, talimatların yönlendirilmesi ve araç çağrıları gibi görevleri üstlenebilirken hızlandırıcılar, çıkarımla ve akıl yürütmeyle bağlantılı matris çarpımı işlemleri de dâhil olmak üzere yoğun hesaplamaları gerçekleştirebilir.
Sanal makineler kümeleri daha üst düzeyde soyutlamak için kullanılıyor; ancak katılımcılar, Docker da dâhil olmak üzere konteyner tabanlı ortamları bileşenleri ve GPU sürücüsü araç zincirlerini tekrarlanabilir bir biçimde dağıtmanın hâkim yöntemi olarak nitelendirdi. Konteyner katmanının üzerinde çalıştırma, koordinasyon, zamanlama, kuyruk yönetimi, model dağıtımı ve API sunumuna yönelik özel bileşenler yer alıyor.
Katılımcılar, entegre bir yazılım ekosistemine sahip olmayı Nvidia’nın gücünün nedenlerinden biri olarak değerlendirdi; şirket 20 yılı aşkın süredir yazılıma yatırım yapıyor. Ancak birden fazla şirketin donanımına geçiş, bu çeşitliliği yönetebilecek bir koordinasyon katmanını zorunlu kılıyor. Prefill, decode ve yürütme kümelerinin çalıştırılmasını iyileştirmek de dâhil olmak üzere bu katmanı sağlamaya çalışan şirketler arasında Gimlet Labs ve Together AI’dan söz edildi.
Bağlantı ve enerji ölçeklenebilirliği belirliyor
Kümeler arasındaki bağlantı seçenekleri arasında Ethernet, InfiniBand ve Hewlett Packard Enterprise’ın Ethernet tabanlı yüksek hızlı ağ teknolojisi Slingshot bulunuyor. Tartışmaya göre Ethernet daha geniş kapsamlı bir standart sunarken özel teknolojiler, belirli durumlarda belirli bir tedarikçinin ekosistemine bağlı kalma karşılığında daha iyi performans sağlayabiliyor.
Optik bağlantıya yönelik ilgi de artıyor. Google, TPU birimlerini optik bağlantılarla kullanırken paket içine entegre optik (co-packaged optics) teknolojileri de araştırılıyor. Fotonik sistemlerin çekiciliği, kümelerde zaten ısı ve soğutma maliyeti sorunları bulunurken elektrikli bağlantılara kıyasla direnci ve güç tüketimini azaltmasından kaynaklanıyor.
Paket düzeyinde, birden fazla çipin, HBM belleğinin ve farklı bileşenlerin bir araya getirilmesi termal, mekanik ve elektriksel etkileri karmaşıklaştırıyor. Isı, bükülme, elektromigrasyon sorunları veya sinyal bütünlüğü problemleri düğümün ve tüm kümenin performansını etkileyebilir. Bu nedenle kalıp içi bağlantıdan küme ağına kadar her düzeye uyum sağlayan bağlantı katmanlarına ihtiyaç var; tek bir evrensel bağlantı teknolojisine ihtiyaç duyulmuyor.
Bu yönelim neden önemli?
Bhattacharjee’nin ortaya koyduğu sonuç, enerjinin birinci sorun, token verimliliğinin ise bir sonraki öncelik olduğu yönünde. Heterojen kümeler, donanımı her aşamanın doğasıyla eşleştirerek token maliyetini azaltma olanağı sunuyor. Ancak bunu gerçekleştirmek için olgun koordinasyon yazılımları ile verilerin konumu, bant genişliği, termal durum ve her motorun uzmanlaşma düzeyine ilişkin açık ölçümler gerekiyor. Bu ekosistem çoğunlukla birden fazla şirketin bileşenlerine dayandığından, geniş ölçekte verimli çalışan bir sistem kurmak hâlâ açık bir mühendislik sorunu olmaya devam ediyor; bu, yalnızca bir GPU’yu başka bir hızlandırıcıyla değiştirme işlemi değil.