Microsoft’ta bulut bilişim platformunun donanım ve altyapısının planlanması, mühendisliği, geliştirilmesi ve dağıtımından sorumlu kuruluşlara liderlik eden Rani Borkar, yapay zekâ çağında ilerlemeyi ölçmek için farklı bir yaklaşım ortaya koyuyor. Sistemin üretebileceği çiplerin sayısına, veri merkezlerinin büyüklüğüne veya üretebileceği belirteçlerin sayısına odaklanmak yerine, «getiri» (Yield) kavramının benimsenmesini öneriyor: yani mevcut kaynaklardan üretilebilecek faydalı çıktının miktarı.
Borkar bu kavramı, getirinin her bir levhadan çıkarılabilecek kullanılabilir çiplerin sayısını ifade ettiği yarı iletken endüstrisinden ödünç alıyor. Ona göre bu ilke sermayeyi, enerjiyi, belleği, iletişimi, modelleri ve yazılımları kapsayacak şekilde genişletilmeli; nihayetinde yapay zekânın işte ve günlük yaşamda sağladığı değere kadar uzanmalı.
Altyapıyı büyütmek neden artık yeterli değil?
Yazı, yapay zekânın benimsenmesinin internet, kişisel bilgisayarlar ve akıllı telefonlarla yaşananlardan daha hızlı ilerlediğine, ancak küresel kullanımının hâlâ iş gücünün yalnızca yaklaşık %18’ine ulaştığına dikkat çekiyor; kullanımın büyük bölümü sohbetlerde yoğunlaşıyor. Sistemler çıkarım, planlama, araç kullanımı ve daha uzun ajan iş akışlarını içeren görevlere geçtikçe altyapı gereksinimleri köklü biçimde değişiyor.
Borkar, tek bir ajan görevinin alışılmış sohbet etkileşimlerinin tükettiği belirteç sayısının 3400 katından fazlasını kullanabileceğini belirtiyor. Bu artış enerji, raf yoğunluğu, paket boyutu ve bellek kapasitesi üzerinde baskı oluşturuyor. Ona göre daha fazla silikon, bellek, enerji ve fiber eklemekten oluşan geleneksel yaklaşım sonsuza kadar sürdürülemez; çünkü her yeni iyileştirme, bir önceki nesilden daha büyük girdiler gerektirebilir.
Bu yaklaşım iki paralel yol öneriyor: verimliliği, kullanım oranını ve ekonomik uygulanabilirliği artırmak için mevcut mimarilerde kademeli iyileştirmeler ve sistemlerle modellerin tasarımında yeni mimariler, malzemeler ve yöntemler aracılığıyla performans eğrisini yeniden şekillendiren daha derin dönüşümler. Borkar, saat frekansındaki artışın enerji duvarına çarpmasının ardından işlemcilerin çok çekirdekli tasarıma geçmesini ve NAND belleğin düzlemsel tasarımdan dikey tasarıma geçişini örnek gösteriyor.
Getiri, tüm katmanların iş birliğinin sonucudur
Yazı, darboğazın mutlaka ortaya çıktığı katmanda çözülemeyeceğini vurguluyor. Tek bir bileşenin performansını ölçmek yeterli değil; çünkü kazanımlar ve kayıplar veri merkezi, silikon, modeller ve ajan görevlerini koordine eden araçlar arasında birikiyor. Bu nedenle Borkar, önce istenen çıktıyı belirleyen, ardından tek bir unsurun performansını en üst düzeye çıkarmak yerine tüm sistemi yeniden optimize eden «ortak tasarım» yaklaşımına çağrıda bulunuyor.
Bellek konusunda Microsoft, sorunun yalnızca bileşen eksikliği olmadığını, sistem düzeyinde bir zorluk olduğunu düşünüyor. Çıkarım, daha büyük modelleri ve daha uzun bağlamları barındırmayı ve verileri hızlı biçimde sağlamayı gerektiriyor. Ajanlar ise dakikalar veya saatler sürebilen döngüler içinde üretim, geri getirme, araç kullanımı ve sürekli bellek işlemlerini ekliyor. Azure Maia platformu deneyimi, KV cache bellek tüketiminin azaltılmasının model mühendisliği, veri bilimi ve sıkıştırmayı; ayrıca bellek hiyerarşilerinin yazılımla yönetilmesini, silikonun ve veri hareketinin optimize edilmesini ve derleyicileri bir araya getirebileceğini gösteriyor.
Buradaki fikir yalnızca yeni baytlar eklemek değil, mevcut her bayttan daha fazla faydalı zekâ çıkarmaktır.
Ağlardan enerjiye
Kümeler düzeyinde zekâ tek bir çipten değil, tek bir sistem gibi çalışan binlerce çipten geliyor. Bu nedenle çıktı yalnızca bağlantıların hızına değil; tıkanıklık yönetimine, arızaların giderilmesine, iş yüklerinin dağıtımına, programlama karmaşıklığına ve silikon, sistem ve yazılım arasındaki sınırlara da bağlı.
Borkar, Maia platformunun tasarımının önceden belirlenmiş bir ağ tasarımından değil, elde edilmek istenen sonuçtan, yani filo ölçeğinde verimli çıkarımdan başladığını söylüyor. Bu kapsamda iki seviyeli ölçekleme ağı oluşturuldu, ağ kartı işlevleri çipin içine entegre edildi ve özel bir taşıma katmanı geliştirildi. Yazıya göre bu yaklaşım, yoğun çıkarım kümelerinde ölçeklenebilir performans sağladı, programlamayı basitleştirdi, iş yüklerinin esnekliğini artırdı ve gereken ağ donanımını azalttı.
Enerji ise sistemi tüketen bir kaynak olmaktan çıkarak elektrik şebekesinden çipe kadar tasarımın en başından hesaba katılması gereken bir kısıta dönüştü. Yazı, rafların gücünün onlarca kilovattan yüzlerce kilovata yükseldiğine ve veri merkezi kampüslerinin gigavat ölçeğinde çalıştığına işaret ediyor. Dağıtım kayıplarını azaltmak için katı hâl transformatörleri ve 800 volt doğru akım dağıtımı gibi çözümlerden de söz ediyor.
Microsoft’un Arm tabanlı Azure Cobalt 200 sunucu işlemcisi, bu ortak tasarıma örnek oluşturuyor; işlemci her çekirdeğe özel gerilim ve frekans denetimi sağlarken, her sanal makinenin enerji tüketiminin yazılımla belirlenmesine olanak tanıyor. Şirket, hassas denetimin kritik iş yüklerinin performansını koruyarak enerjinin ayarlanmasına imkân verdiğini ve böylece aynı enerji sınırları içinde daha fazla sunucunun çalıştırılabileceğini söylüyor.
Pratikte ne önem taşıyor?
Bu yaklaşımın önemi, tartışmayı ham kapasite yarışından kaynakların sonuçlara dönüştürülmesindeki verimliliğe taşımasında yatıyor. Bulut ve veri merkezi işletmecileri açısından bu, donanım değerlendirmesinin ağlardan, yazılımlardan, soğutmadan ve yük yönetiminden ayrılamayacağı anlamına geliyor. Model ve ajan geliştiricileri açısından ise bellek verimliliği, görevlerin uzunluğu ve araçların entegrasyonu, ölçeklenebilirliği modelin boyutu kadar etkileyen unsurlar hâline geliyor.
Ancak bu sonuç, Microsoft’tan gelen ve kısmen büyük ölçekte yapay zekâ altyapısı kurma ve işletme deneyimine dayanan bir görüş olmaya devam ediyor; tüm ortamlar için kanıtlanmış bağımsız bir standart değil. Ayrıca yazı, Maia veya Cobalt 200’ün kazanımlarını ölçmek için ayrıntılı karşılaştırmalı rakamlar sunmuyor ve söz konusu çözümlerin Azure bağlamı dışında uygulanması için bir maliyet veya takvim belirtmiyor.
Buna rağmen «getiri gerekliliği» sektörü pratik bir soruyla karşı karşıya bırakıyor: Enerjiye, çiplere ve veri merkezlerine yapılan artan yatırımlar, uygun maliyetle erişilebilen bir zekâya ve somut üretkenlik ile değere dönüşüyor mu? Borkar’ın tasavvurunda getiri, belirteçlerin üretilmesiyle tamamlanmıyor; bu çıktılar daha hızlı bilimsel keşfe, daha erken tespit edilen bir tıbbi bulguya, daha iyi öğrenmeye veya küçük şirketler için yeni fırsatlara dönüştüğünde tamamlanıyor.