Begriffe

KV-Cache

Ein Speicher, der während der Ausführung von Sprachmodellen verwendet wird, um die Schlüssel und Werte des Kontexts zu speichern, und bei langen Kontexten zu einer erheblichen Belastung werden kann.

Neueste Berichte

CN
Warum KI-Modelle mit offenen Gewichten das Hardwaredesign neu gestalten

Warum KI-Modelle mit offenen Gewichten das Hardwaredesign neu gestalten

KI-Modelle mit offenen Gewichten geben Unternehmen mehr Flexibilität beim lokalen Betrieb und verringern die Abhängigkeit von Dienstanbietern. Sie bedeuten jedoch nicht automatisch, dass Trainingsdaten, Quellcode oder Nutzungsrechte verfügbar sind. Eine Analyse von Semiconductor Engineering betont, dass sich ihre Auswirkungen auf das Speicherdesign, die Interconnects, die Sicherheit und die Workflows von Chipdesign-Tools erstrecken.

CN
High-Bandwidth-Flash-Speicher könnte die Servicelatenz großer Sprachmodelle um bis zu 87 % senken

High-Bandwidth-Flash-Speicher könnte die Servicelatenz großer Sprachmodelle um bis zu 87 % senken

Eine Studie der UC Berkeley und von FuriosaAI untersucht den Einsatz von High Bandwidth Flash zur Erweiterung des Speichers von KI-Beschleunigern beim Betrieb großer Sprachmodelle. Simulationen zufolge könnte die Abschlusslatenz um bis zu 87 % sinken, bei potenziellen Verbesserungen des Energieverbrauchs und einer Verlängerung der Schreibhaltbarkeit durch cache-bewusste Planung.

CN
Microsoft: Der Fortschrittsmaßstab für künstliche Intelligenz sollte der „nützliche Ertrag“ sein, nicht die Größe der Infrastruktur

Microsoft: Der Fortschrittsmaßstab für künstliche Intelligenz sollte der „nützliche Ertrag“ sein, nicht die Größe der Infrastruktur

Rani Borkar von Microsoft ist der Ansicht, dass der Erfolg einer Infrastruktur für künstliche Intelligenz nicht an der Anzahl der Chips oder der verarbeiteten Token gemessen werden sollte, sondern an der Menge an nützlicher Intelligenz, die aus jeder Einheit Energie, Speicher und Investitionen hervorgeht. Sie plädiert für ein integriertes Design, das von Rechenzentren und Chips über Modelle und Software bis hin zu Agenten reicht.

CN
Warum NPUs neu gestaltet werden müssen, da Edge-KI zu LLMs übergeht

Warum NPUs neu gestaltet werden müssen, da Edge-KI zu LLMs übergeht

Sharad Choul von Expedera analysiert, wie der Übergang von herkömmlichen Bildverarbeitungsnetzwerken zu LLM- und VLM-Modellen bei Edge-Geräten die Art des Engpasses verändert: weg von der Rechenleistung hin zur Speicherbewegung. Er erläutert die Rolle der paketbasierten Verarbeitung bei der Reduzierung des externen Datentransfers und der Verbesserung des Modellbetriebs in Fahrzeugen und eingebetteten Geräten.