Büyük dil modellerinin çalıştırılması ve sunulması; önerilen hiyerarşik bellek mimarisinin değerlendirildiği bağlamdır.
UC Berkeley ve FuriosaAI tarafından hazırlanan bir çalışma, büyük dil modelleri çalıştırılırken yapay zekâ hızlandırıcılarının belleğini genişletmek için High Bandwidth Flash kullanımını inceliyor. Simülasyonlar, tamamlanma süresinde %87’ye varan azalma ve önbellek farkındalıklı zamanlama yoluyla enerji tüketiminde iyileşmeler ile yazma ömrünün uzatılabileceğine işaret ediyor.