Terimler

KV Önbelleği

Dil modelleri çalıştırılırken bağlamın anahtarlarını ve değerlerini saklamak için kullanılan bellek; uzun bağlamlarda önemli bir yük hâline gelebilir.

Son haberler

CN
Açık Ağırlıklı Yapay Zekâ Modelleri Donanım Tasarımını Neden Yeniden Şekillendiriyor?

Açık Ağırlıklı Yapay Zekâ Modelleri Donanım Tasarımını Neden Yeniden Şekillendiriyor?

Açık ağırlıklı yapay zekâ modelleri, kurumlara yerel çalıştırmada daha fazla esneklik ve hizmet sağlayıcılarına daha az bağımlılık sunuyor; ancak bu, eğitim verilerinin, kodun veya kullanım haklarının otomatik olarak erişilebilir olduğu anlamına gelmiyor. Semiconductor Engineering analizi, etkilerinin bellek ve ara bağlantı tasarımına, güvenliğe ve çip tasarım araçlarının iş akışına uzandığını vurguluyor.

CN
Yüksek bant genişlikli flaş bellek, büyük dil modeli hizmet süresini %87’ye kadar azaltabilir

Yüksek bant genişlikli flaş bellek, büyük dil modeli hizmet süresini %87’ye kadar azaltabilir

UC Berkeley ve FuriosaAI tarafından hazırlanan bir çalışma, büyük dil modelleri çalıştırılırken yapay zekâ hızlandırıcılarının belleğini genişletmek için High Bandwidth Flash kullanımını inceliyor. Simülasyonlar, tamamlanma süresinde %87’ye varan azalma ve önbellek farkındalıklı zamanlama yoluyla enerji tüketiminde iyileşmeler ile yazma ömrünün uzatılabileceğine işaret ediyor.

CN
Microsoft: Yapay zekâda ilerlemenin ölçütü altyapının büyüklüğü değil, «faydalı getiri» olmalı

Microsoft: Yapay zekâda ilerlemenin ölçütü altyapının büyüklüğü değil, «faydalı getiri» olmalı

Microsoft’tan Rani Borkar’a göre yapay zekâ altyapısının başarısı çiplerin veya işlenen belirteçlerin sayısıyla değil, her enerji, bellek ve yatırım biriminden üretilen faydalı zekânın miktarıyla ölçülmeli. Borkar, veri merkezlerinden çiplere, modellerden yazılımlara ve ajanlara kadar uzanan bütünleşik bir tasarım çağrısında bulunuyor.

CN
Uç cihaz yapay zekâsı LLM modellere geçerken NPU’lar neden yeniden tasarlanmalı?

Uç cihaz yapay zekâsı LLM modellere geçerken NPU’lar neden yeniden tasarlanmalı?

Expedera’dan Sharad Choul, uç cihazların geleneksel görsel ağlardan LLM ve VLM modellerine geçişinin darboğazın niteliğini hesaplama gücünden bellek hareketine nasıl dönüştürdüğünü analiz ediyor. Paket tabanlı işlemenin harici veri aktarımını azaltmadaki ve modellerin otomobiller ile gömülü cihazlarda çalıştırılmasını iyileştirmedeki rolünü açıklıyor.