Makale, büyük dil modellerinin hizmet sunumunda belleği genişletmek için HBM ve ana bilgisayar belleğinin yanında kullanılmasını önerdiği yüksek bant genişlikli bir flash bellek katmanıdır.
UC Berkeley ve FuriosaAI tarafından hazırlanan bir çalışma, büyük dil modelleri çalıştırılırken yapay zekâ hızlandırıcılarının belleğini genişletmek için High Bandwidth Flash kullanımını inceliyor. Simülasyonlar, tamamlanma süresinde %87’ye varan azalma ve önbellek farkındalıklı zamanlama yoluyla enerji tüketiminde iyileşmeler ile yazma ömrünün uzatılabileceğine işaret ediyor.