Ein Speicher, der während der Ausführung von Sprachmodellen verwendet wird, um die Schlüssel und Werte des Kontexts zu speichern, und bei langen Kontexten zu einer erheblichen Belastung werden kann.
KI-Modelle mit offenen Gewichten geben Unternehmen mehr Flexibilität beim lokalen Betrieb und verringern die Abhängigkeit von Dienstanbietern. Sie bedeuten jedoch nicht automatisch, dass Trainingsdaten, Quellcode oder Nutzungsrechte verfügbar sind. Eine Analyse von Semiconductor Engineering betont, dass sich ihre Auswirkungen auf das Speicherdesign, die Interconnects, die Sicherheit und die Workflows von Chipdesign-Tools erstrecken.
Eine Studie der UC Berkeley und von FuriosaAI untersucht den Einsatz von High Bandwidth Flash zur Erweiterung des Speichers von KI-Beschleunigern beim Betrieb großer Sprachmodelle. Simulationen zufolge könnte die Abschlusslatenz um bis zu 87 % sinken, bei potenziellen Verbesserungen des Energieverbrauchs und einer Verlängerung der Schreibhaltbarkeit durch cache-bewusste Planung.
Rani Borkar von Microsoft ist der Ansicht, dass der Erfolg einer Infrastruktur für künstliche Intelligenz nicht an der Anzahl der Chips oder der verarbeiteten Token gemessen werden sollte, sondern an der Menge an nützlicher Intelligenz, die aus jeder Einheit Energie, Speicher und Investitionen hervorgeht. Sie plädiert für ein integriertes Design, das von Rechenzentren und Chips über Modelle und Software bis hin zu Agenten reicht.
Sharad Choul von Expedera analysiert, wie der Übergang von herkömmlichen Bildverarbeitungsnetzwerken zu LLM- und VLM-Modellen bei Edge-Geräten die Art des Engpasses verändert: weg von der Rechenleistung hin zur Speicherbewegung. Er erläutert die Rolle der paketbasierten Verarbeitung bei der Reduzierung des externen Datentransfers und der Verbesserung des Modellbetriebs in Fahrzeugen und eingebetteten Geräten.