Eine Flash-Speicherschicht mit hoher Bandbreite, deren Einsatz das Paper zusätzlich zu HBM und dem Host-Speicher zur Erweiterung des Speichers für den Betrieb großer Sprachmodelle vorschlägt.
Eine Studie der UC Berkeley und von FuriosaAI untersucht den Einsatz von High Bandwidth Flash zur Erweiterung des Speichers von KI-Beschleunigern beim Betrieb großer Sprachmodelle. Simulationen zufolge könnte die Abschlusslatenz um bis zu 87 % sinken, bei potenziellen Verbesserungen des Energieverbrauchs und einer Verlängerung der Schreibhaltbarkeit durch cache-bewusste Planung.