Rehberler

Yapay Zekâ Altyapısının Bileşenlerini Anlama ve Ölçeklendirme Seçeneklerini Değerlendirme

Yapay zekâ altyapısının enerji, yongalar, bellek ve ağlardan depolama kadar temel katmanlarını anlamaya ve sunucu içi, sunucular arası veya ayrıştırılmış altyapı üzerinden ölçeklendirmeyi değerlendirmeye yönelik kavramsal bir rehber. Rehber, mevcut kanıtlara dayanır ve bağımsız bir uygulamalı test içermez.

Yapay zekâ sistemleri; bilgi işlem, bellek, ara bağlantı, depolama, enerji, soğutma ve yazılımdan oluşan birbirine bağlı bir ekosisteme ihtiyaç duyar. Bu nedenle altyapı tasarlanırken yalnızca daha hızlı bir işlemci veya hızlandırıcı seçmek yeterli değildir.

1. İş yükünün niteliğini belirleyin

Altyapının model eğitimi, çıkarım veya her ikisi için mi kullanılacağını belirleyerek başlayın. Kanıtlar; sürekli çıkarım iş yüklerinin, büyük ölçekli modellerin ve uç uygulamaların farklı işlem, bellek ve ara bağlantı seçeneklerine ihtiyaç duyabileceğini göstermektedir.

  • Eğitim: Çok sayıda işlem birimi arasında koordinasyon gerektirir ve bileşenler arasındaki iletişim yürütme süresinin önemli bir bölümünü oluşturabilir.
  • Çıkarım: Gecikme süresine, bellek kapasitesine veya modellerin çalıştırma verimliliğine odaklanabilir.
  • Uç iş yükleri: Sürekli çıkarım için özel işlemcilere veya yapay zekâyı veri kaynağına yakın çalıştırmaya dayanabilir.

2. Bilgi işlem ve belleği birlikte değerlendirin

Yalnızca işlem birimlerinin sayısına bakmayın. Yüksek kapasiteli sunucu bellek birimlerinin ve TSV gibi istifleme ve bağlantı teknolojilerinin ortaya çıkmasıyla bellek, kapasitesi ve entegre edilme biçimi altyapı tasarımının bir parçası hâline gelmiştir.

  • Modeller ve veriler için gereken bellek kapasitesini belirleyin.
  • Belleğin işlemciye yakın mı olduğunu veya paylaşılan bir kumaş üzerinden mi erişilebilir olduğunu inceleyin.
  • Bellek yetersizliğinin ya da veri aktarımındaki yavaşlığın işlem kapasitesinden yararlanmayı sınırlayabileceğini göz önünde bulundurun.

3. Kaynak dağıtım modelini seçin

Kanıtlar üç temel model sunar ve bunların hiçbirini her duruma uygun bir çözüm olarak göstermez.

  • Sistem içi ölçeklendirme: İşlemciyi ve hızlandırıcıları sunucu içinde birbirine yakın tutar; bu, gecikmeye duyarlı iş yükleri için uygundur, ancak işlemci hatlarının sayısı, kasa alanı, enerji ve soğutmadan etkilenir.
  • Sunucular arası ölçeklendirme: Ethernet veya InfiniBand kullanarak performansı birden fazla düğüme dağıtır; ancak gecikme ekler ve verileri ve iş yüklerini koordine edecek yazılımlar gerektirir.
  • Ayrıştırılmış altyapı: GPU birimleri, depolama veya SmartNIC ve DPU birimleri gibi kaynakları paylaşılan bir kumaş üzerinden erişilebilir hâle getirir; kaynak kullanımını iyileştirebilir, ancak rekabet, izolasyon ve yönetim açısından ek zorluklar getirir.

4. Ara bağlantı yolunu tasarlayın

PCIe; işlemcileri, grafik işlem birimlerini, hızlandırıcıları, SmartNIC veya DPU birimlerini ve depolamayı birbirine bağlamada temel bir rol oynar. Kanıtlar, PCIe anahtarlarının bağlantı noktalarının sayısını artırdığını ve portlar arasındaki işlemleri yönlendirdiğini göstermektedir.

  • Gelen ve giden bağlantıların sayısını belirleyin.
  • Gereken bant genişliğini ve cihazlar arasındaki aşırı abonelik düzeyini hesaplayın.
  • Rekabeti ve baştaki kuyruğun engellenmesini azaltmak için tahkim, önbellekleme ve kredi yönetimi mekanizmalarını inceleyin.
  • PCIe nesilleri arasındaki uyumluluğu göz önünde bulundurun; mevcut altyapılarda PCIe 5.0 ve PCIe 6.x kullanılmaya devam ederken, malzemeye göre PCIe 7.0 hat başına 128 GT/s ham aktarım hızı sunar.

5. Mesafeyi ve sinyal kalitesini yönetin

Kaynaklar daha uzun yollar, konektörler veya kablolar üzerinden dağıtıldığında kanal kaybı, yansımalar, parazit ve titreşimle ilgili zorluklar artar. Retimer'lar saati ve verileri yeniden oluşturarak bir elektriksel bölümü sonlandırır ve sinyali yeniden gönderir.

  • Kanal kaybını, yolların uzunluğunu ve konektörleri değerlendirin.
  • Yeniden zamanlanan her bölümün gecikme, enerji ve ısı üzerindeki etkisini hesaplayın.
  • İşlemciler, uç noktalar, PHY arayüzleri, konektörler, kablolar ve ürün yazılımları arasındaki uyumluluğu doğrulayın.

6. Altyapıyı enerji, soğutma ve konumla ilişkilendirin

Kanıtlar, ölçeklendirmenin yongalardan fazlasını gerektirdiğini; enerjiye, veri merkezlerine, soğutmaya ve tedarik zincirlerine de bağlı olduğunu göstermektedir. Önerilen seçenekler arasında büyük veri merkezleri ve farklı enerji kaynaklarına bağlanabilen taşınabilir modüler birimler bulunur; ancak malzemeye göre modüler birimlerin maliyet ve ölçeklendirme hızına etkisinin uygulamalı olarak test edilmesi gerekir.

  • Sahada mevcut enerji ve soğutma kapasitesini belirleyin.
  • Veri merkezi kurulumundaki kısıtları ve yerel toplulukların kabulünü inceleyin.
  • Bir konumun büyük ve sabit bir altyapıya mı yoksa taşınabilir birimlere mi ihtiyaç duyduğunu değerlendirin; seçeneklerden birinin üstün olduğunu varsaymayın.

7. Performansı sistem düzeyinde değerlendirin

Yalnızca genel bir teknik özellikler listesi kullanmak yerine gerçek kullanımı temsil eden bir iş yükü ve topoloji kullanın. Kanıtlar; bant genişliğinin, gecikme süresinin, kanal kaybının, enerji tüketiminin, yönetilebilirliğin ve birlikte çalışabilirliğin ölçülmesini önermektedir.

  • İletişim süresini hesaplama süresiyle karşılaştırın.
  • GPU veya depolama kaynakları paylaşılırken oluşan rekabet noktalarını izleyin.
  • Düğüm ve cihaz sayısı arttıkça ölçeklenebilirliği test edin.
  • Simülasyon sonuçlarını gerçek bir çalışma ortamındaki bağımsız ölçümlerden ayırın; Huawei'nin 100.000 NPU biriminden oluşan bir grup için açıkladığı sonuç bir simülasyon sonucudur ve malzeme, iş yükleri veya test koşulları hakkında yeterli ayrıntı sunmamaktadır.

8. Tedarik zinciri risklerini gözden geçirin

Kanıtlar; bellek, paketleme, enerji, malzemeler ve üretim ekipmanlarının darboğaz noktalarına dönüşebileceğini göstermektedir. Ayrıca gelişmiş düğümlerin tasarım maliyeti yüksektir; malzeme, 2 nanometre teknolojisiyle bir yonga tasarlamanın maliyetini 28 nanometreye kıyasla yaklaşık 725 milyon dolar olarak tahmin etmektedir; 28 nanometrede bu maliyet 48 milyon dolardır.

  • Hızlandırıcıların, belleğin ve bağlantı bileşenlerinin bulunabilirliğini doğrulayın.
  • Açıklanan planlarla fiilî üretim kapasitesini birbirinden ayırın.
  • Finansmanı, değerlemeyi veya ticari duyuruyu performans ya da güvenilirlik için yeterli kanıt olarak görmeyin.

Uygulamalı sonuç

Altyapı kararınızı iş yükü, topoloji ve elektriksel kısıtlar etrafında oluşturun; ardından yakınlık, ölçeklenebilirlik ve kaynak kullanımını dengeleyin. Sistem içi ölçeklendirme gecikmeye duyarlı iş yükleri için uygun olabilir; sunucular arası ölçeklendirme daha büyük kümelere uyabilir; ayrıştırılmış altyapı ise kaynakların seçici olarak paylaşılmasının gerekçelendirildiği durumlarda yararlı olabilir. Bir tasarımın uygunluğunu değerlendirmek için tek başına en yüksek hız veya port sayısı yeterli değildir.