Yapay zekâ

Yüksek bant genişlikli flaş bellek, büyük dil modeli hizmet süresini %87’ye kadar azaltabilir

UC Berkeley ve FuriosaAI tarafından hazırlanan bir çalışma, büyük dil modelleri çalıştırılırken yapay zekâ hızlandırıcılarının belleğini genişletmek için High Bandwidth Flash kullanımını inceliyor. Simülasyonlar, tamamlanma süresinde %87’ye varan azalma ve önbellek farkındalıklı zamanlama yoluyla enerji tüketiminde iyileşmeler ile yazma ömrünün uzatılabileceğine işaret ediyor.

2026-10-02
3 dk okuma
1,376 görüntülenme
certi.news Editorial Team
Yüksek bant genişlikli flaş bellek, büyük dil modeli hizmet süresini %87’ye kadar azaltabilir

University of California, Berkeley ve FuriosaAI tarafından hazırlanan bir araştırma makalesi, büyük dil modellerinin hizmet gereksinimlerini karşılamak üzere High Bandwidth Flash (HBF) belleğin, High Bandwidth Memory (HBM) ve ana bilgisayar belleğinin yanında ek bir katman olarak kullanılmasını öneriyor. Makale, model boyutlarının artması ve daha uzun konuşma bağlamlarının ortaya çıkardığı sorunu ele alıyor; bu durumda bellek kapasitesi ve bant genişliği, çıkarım performansının önünde darboğaz hâline geliyor.

Büyük dil modeli hizmet sistemleri model ağırlıklarını ve KV cache verilerini bellekte tutar. Zaman içinde genişleyen bağlamlar içinde tekrarlanan etkileşimler gerçekleştiren aracı iş yüklerinde bu verilerin tutulması daha da önem kazanır. Ancak belleği HBF kullanarak genişletmenin bazı ödünleşimleri vardır: Flaş belleğe erişim HBM’den daha yavaştır ve uçucu belleğe kıyasla sınırlı yazma dayanıklılığına sahiptir.

Makale neyi test etti?

Araştırmacılar, HBM, HBF ve ana bilgisayar belleğini birleştiren hiyerarşik bir depolama mimarisinin yanı sıra önbellek içeriğini ve veri konumlarını dikkate alan bir önbellek farkındalıklı zamanlama mekanizması sundu. Veri yerleştirme ve zamanlama kararlarının tamamlanma süresi, enerji tüketimi ve HBF’nin tahmini yazma ömrü üzerindeki etkisini analiz etmek için operasyonel izlerle yönlendirilen simülasyonlar kullandılar.

Açıklanan sonuçlara göre HBF destekli en hızlı sistemler, yalnızca HBM kullanan sistemlere kıyasla tamamlanma süresini %36,1 ile %87,0 arasında azalttı. Değerlendirilen senaryolarda hesaplanan enerji tasarrufu da %55,8’e ulaştı.

Kazanım her iş yükünde garanti değil

Sonuçlar HBF’yi HBM’nin doğrudan alternatifi olarak sunmuyor. Makale, bazı hafif iş yüklerinde HBF kullanımının enerji tüketimini artırdığını belirtiyor. Bu da faydanın iş yükünün niteliğine, tutulan veri miktarına ve okuma-yazma işlemlerinin nasıl zamanlandığına bağlı olduğu anlamına geliyor.

Yazma yönetiminin önemi, çalışma ömrü tahmininde açıkça görülüyor. Önbellek farkındalıklı zamanlama, değerlendirilen yapılandırmada HBF’nin tahmini yazma ömrünü 4,77 yıldan 14,82 yıla çıkardı.

Bu araştırma neden önemli?

Sonuçlar, yalnızca daha büyük bir bellek katmanı eklemenin model hizmetindeki darboğazları gidermek için yeterli olmadığını gösteriyor. Kazanımlar, veri konumunun zamanlama politikasıyla koordinasyonuna bağlı; böylece uzun bağlamlı çıkarım iş yükleri, flaş belleğin ömrünü tüketmeden veya gereksiz enerji maliyeti oluşturmadan ek kapasiteden yararlanabiliyor.

Yapay zekâ hızlandırıcılarının tasarımcıları ve altyapı işletmecileri açısından makale, bellek kapasitesini HBM’nin ötesine genişletmek için bir araştırma yolu sunuyor; ancak henüz genel ticari dağıtımın uygulanabilirliğini kanıtlamıyor. Sonuçlar simülasyonlara ve operasyonel izlere dayanıyor; gerçek performans ve ömür ise donanım tasarımına, iş yüklerinin özelliklerine ve gerçek sistemlerdeki bellek yönetimi politikalarına bağlı olacak.

Makalenin başlığı “Characterizing High Bandwidth Flash for LLM Serving” ve çalışmaya Yu, Zack, Chloe Wong, Coleman Hooper, Minjae Lee, Wonjun Kang, Youngjin Cho, Michael W. Mahoney, Yakun Sophia Shao, Kurt Keutzer ve Amir Gholami katkıda bulundu. Çalışma, Eylül 2026’da arXiv’de arXiv:2609.39131 numarasıyla bir araştırma taslağı olarak yayımlandı.

Haber kaynağı
Semiconductor Engineering
Özgün kaynağı aç ↗
c
Yazar

certi.news Editorial Team

Bilmeniz gerekenler

University of California, Berkeley ve FuriosaAI tarafından hazırlanan bir makale, büyük dil modellerinin sunulması için HBM ve ana bilgisayar belleğinin yanında yüksek bant genişlikli flaş belleğin ek bir katman olarak kullanılmasını öneriyor. Makalenin simülasyonları, tamamlanma süresinde %87'ye varan azalma gösteriyor; ancak fayda iş yüklerine ve zamanlama politikalarına bağlı ve makale henüz genel ticari dağıtımın uygulanabilirliğini kanıtlamıyor.

  • Önerilen mimari, büyük dil modellerinin sunulması için kullanılabilir bellek kapasitesini artırmak üzere HBM, yüksek bant genişlikli flaş bellek ve ana bilgisayar belleğini kullanıyor.
  • Simülasyon, yalnızca HBM kullanan sistemlere kıyasla tamamlanma süresinde %36,1 ile %87,0 arasında azalma gösterdi.
  • Hesaplanan enerji tasarrufu bazı senaryolarda %55,8'e ulaştı; ancak bazı hafif iş yüklerinde enerji tüketimi arttı.
  • Faydalar, veri yerleşimine ve okuma-yazma işlemlerinin zamanlanmasına bağlı; çünkü flaş, HBM'den daha yavaş ve daha az yazma işlemine dayanabiliyor.
  • Önbellek farkındalıklı zamanlama, değerlendirilen yapılandırmada HBF'nin beklenen yazma ömrünü 4,77 yıldan 14,82 yıla çıkardı.
  • Sonuçlar simülasyonlara ve operasyonel izlere dayanıyor; bu nedenle gerçek donanım ve sistemlerde sonuçlar farklılık gösterebilir.

SSS

Yüksek bant genişlikli flaş bellek nedir?

Büyük dil modellerinin sunulması için daha fazla kapasite sağlamak amacıyla HBM ve ana bilgisayar belleğine eklenmesi önerilen bir bellek katmanıdır; HBM'den daha yavaştır ve yazma işlemlerine dayanıklılığı sınırlıdır.

HBF, büyük dil modellerinin sunum süresini ne kadar azaltabilir?

Makalenin gerçekleştirdiği simülasyonda, yalnızca HBM kullanan sistemlere kıyasla bildirilen tamamlanma süresi azalmaları %36,1 ile %87,0 arasında değişti.

HBF, HBM'nin doğrudan alternatifi mi?

Hayır. Makale HBF'yi ek bir katman olarak sunuyor ve faydasının iş yükünün niteliğine, veri boyutuna ve bellek zamanlama politikasına bağlı olduğunu belirtiyor.

Zamanlama, HBF'nin ömrünü nasıl etkiliyor?

Bellek içeriği ve veri konumlarını dikkate alan önbellek farkındalıklı zamanlama, incelenen yapılandırmada HBF'nin beklenen yazma ömrünü 4,77 yıldan 14,82 yıla çıkardı.

Aynı kategoride

Bunlar da ilginizi çekebilir

Tüm haberleri gör