Das Design neuronaler KI-Verarbeitungseinheiten (NPUs) verändert sich, da Edge-Geräte nicht mehr ausschließlich auf Bildverarbeitungsnetzwerke setzen, sondern große Sprachmodelle (LLMs), Vision-Language-Modelle (VLMs) und generative KI-Funktionen zusätzlich zu herkömmlichen Wahrnehmungsnetzwerken ausführen. Sharad Choul, Chief Scientist und Mitgründer von Expedera, ist der Ansicht, dass dieser Wandel den Schwerpunkt des Problems von der Maximierung der Rechenoperationen auf die Verwaltung von Daten- und Speicherbewegungen verlagert, insbesondere bei Smartphones, Fahrzeugen und eingebetteten Gateways.
Der Beitrag wurde als gesponserter Blogbeitrag in Semiconductor Engineering veröffentlicht. Daher werden die Zahlen und Ergebnisse zur Origin-Evolution-Architektur als von Expedera genannte Ergebnisse und Experimente dargestellt und nicht als unabhängiger Test des Herausgebers.
Vom Rechenengpass zum Speicherengpass
Bei auf CNNs basierenden Bildverarbeitungsaufgaben, etwa YOLO-Detektoren, MobileNet-Klassifikatoren und Bildsegmentierungsnetzwerken, war die Rechenleistung historisch die wichtigste Einschränkung. Daten und Gewichte werden in hohem Maß wiederverwendet, und die Ausführung während der Inferenz bleibt weitgehend zustandslos. Daher konzentrierte sich das Design von Beschleunigern darauf, die Zahl der Multiply-Accumulate-Operationen (MACs) innerhalb von Flächen- und Energiebeschränkungen zu erhöhen.
Expedera zufolge hat die Planung der Verarbeitung in Form von Paketen statt großer Schichten die Auslastung der MAC-Einheiten verbessert und die Bewegung von Aktivierungen zum externen DDR-Speicher reduziert. LLMs und VLMs verändern jedoch die Natur der Last. Die Phase Prefill kann weiterhin rechenintensiv sein, während die Phase Decode schnell durch den Zugriff auf den Key-Value-Cache (KV-Cache), die Größe der Parameter und deren Zugriffsmuster begrenzt wird, wobei die effektive Wiederverwendung abnimmt.
Der Analyse zufolge reicht es nicht aus, NPUs, die ursprünglich für die parallele und zustandslose CNN-Verarbeitung konzipiert wurden, anhand ihrer nominalen TOPS-Zahl zu bewerten, wenn die Dekodierungsoperationen von Transformern durch die Speicherbandbreite und die Größe des KV-Caches begrenzt werden.
Pakete bei Transformer-Workloads
Expedera untersucht, wie das Konzept der paketbasierten Verarbeitung von CNNs auf Transformer-Blöcke und den Zugriff auf den KV-Cache ausgeweitet werden kann. Dabei werden Hardware und Software gemeinsam entsprechend dem Verhalten von LLM- und VLM-Modellen entworfen, anstatt diese lediglich als ein weiteres Modell zu behandeln.
Die Architektur besteht laut Beschreibung des Autors aus getrennten Verarbeitungseinheiten für Front-End-Operationen, Attention und Vektoren. Die Pakete werden entsprechend der Netzwerkstruktur und der aktuellen Ausführungsphase zwischen diesen Einheiten weitergeleitet, unabhängig davon, ob es sich um Prefill oder Decode handelt. Das Unternehmen gibt an, dass seine Engine auf 128 Teraflops in einem einzigen Kern und bei Verwendung von Mehrkernkonfigurationen auf Petaflop-Niveau skalieren kann, wobei das Speicherverhalten im Mittelpunkt des Designs bleibt.
Expedera zufolge hält die Architektur die Ausführung der Modelle so aufrecht, wie sie trainiert wurden, ohne Retraining oder Quantisierung. Das Unternehmen weist außerdem darauf hin, dass die paketbasierte Verarbeitung im Vergleich zu alternativen Ansätzen den externen Speicherverkehr bei der Ausführung von Llama 3.2 1B und Qwen2 1.5B um mehr als 75 % reduziert hat. Außerdem nennt das Unternehmen Ergebnisse, die es als Tausende effektiver Teraflops und Dutzende Tokens pro Sekunde je Quadratmillimeter Silizium in speicherbegrenzten Szenarien beschreibt.
Was bedeutet das für Edge-Geräte und Fahrzeuge?
Die lokale Ausführung der Inferenz kann die Ende-zu-Ende-Latenz verringern und zugleich dafür sorgen, dass Daten aus dem Fahrzeuginnenraum oder vom Gerät die Cloud nicht verlassen. Laut Autor ist dies in Fahrzeugen und mobilen Geräten besonders wichtig, da Anforderungen an das Nutzungserlebnis mit Datenschutzbeschränkungen und regulatorischen Anforderungen zusammentreffen.
Andererseits stellt das Übertragen des KV-Caches bei jedem Dekodierungsschritt in den DDR- oder HBM-Speicher eine Belastung für Energieverbrauch und Kosten dar, insbesondere bei Edge-Knoten und Fahrzeugsystemen. Expedera ist der Ansicht, dass eine Reduzierung externer Transfers und eine stärkere lokale Wiederverwendung mehr Tokens pro Sekunde innerhalb eines festgelegten Energiebudgets ermöglichen könnten.
Automotive-System-on-Chips müssen außerdem gleichzeitig Wahrnehmung, Fahrerüberwachung, Infotainment und generative Funktionen ausführen. Aus Sicht des Autors könnte eine NPU-Familie, die CNNs und LLMs gleichermaßen als zentrale Workloads behandelt, das Plattformdesign vereinfachen und den Bedarf an separaten Beschleunigern verringern, anstatt einer ursprünglich für CNNs optimierten Architektur lediglich LLM-Unterstützung hinzuzufügen.
Der Artikel weist darauf hin, dass Origin Evolution im Rahmen der Edge AI and Vision Product of the Year Awards 2026 mit dem Preis für das „Beste geistige Eigentum für einen Edge-KI-Prozessor“ ausgezeichnet wurde. Der Autor bringt diese Auszeichnung mit der Bedeutung der Bewältigung von Speicher- und Energieengpässen in Verbindung, statt sich ausschließlich auf die Steigerung von Spitzenleistungskennzahlen zu konzentrieren.
Modellierung der Prefill- und Decode-Phasen
Choul zufolge liegt der technische Wert nicht allein im Paketkonzept, sondern in der getrennten Modellierung und Optimierung der Prefill- und Decode-Phasen. Die erste Phase benötigt einen hohen Rechendurchsatz und ähnelt teilweise dem Verhalten von CNNs, muss jedoch mit größeren Modellen umgehen. Die zweite Phase wird dagegen von KV-Cache-Lesevorgängen, Speicherübertragungen und kleineren Berechnungen pro Schritt dominiert.
Die Paket- und getrennten Blockdatenpfade ermöglichen laut Beitrag die Erstellung von Leistungs- und Bandbreitenmodellen, die zwischen den beiden Phasen unterscheiden, sowie die Untersuchung von Speicher- und Übertragungsschnittstellenkonfigurationen, etwa DRAM- oder HBM-Bandbreite, SRAM-Größe und -Aufteilung, entsprechend den tatsächlichen Zugriffsmustern auf den KV-Cache. Sie können außerdem zur Analyse der Worst-Case-Latenz und der Auswirkungen der Bandbreite bei sicherheitskritischen Fahrzeug-Workloads eingesetzt werden, wenn LLM- oder VLM-Funktionen mit der Mensch-Maschine-Interaktion oder der Fahrerüberwachung verbunden sind.
Softwarekompatibilität und die Rolle von EDA-Tools
Expedera zufolge nimmt die Origin-Evolution-Suite Modelle aus HuggingFace, Llama.cpp, TVM und anderen Quellen entgegen und unterstützt Ganzzahl- und Gleitkommadatentypen, gemischte Modi sowie das Zusammenführen oder Aufteilen von Schichten. Außerdem ermöglicht sie die zentrale Steuerung mehrerer Kerne auf Chip- oder Multi-Die-Ebene.
Aus Sicht des Autors stellen Pakete kein neues Programmiermodell für die Modellnutzer dar. Die Umwandlung erfolgt innerhalb der Compiler-Pipeline und der Laufzeitumgebung, wobei trainierte Modelle ohne Retraining oder Quantisierung auf der Hardware platziert werden können. Dies könnte den Bedarf an einer individuellen Neuprogrammierung für jede Hardware verringern und es EDA- und Verifikationsteams ermöglichen, die Leistung anhand von Referenzanwendungen wie Llama 3 und Qwen 2 zu testen.
Der Artikel kommt zu dem Schluss, dass die nächste Frage nicht nur lautet, ob Pakete mit CNNs erfolgreich sind, sondern in welchem Maß sie Modellierung, Scheduling und Verifikation über heterogene KI-Workloads hinweg vereinfachen. Da generative Funktionen in Fahrzeuge und Edge-Geräte Einzug halten, könnten diese Faktoren bestimmen, welche Beschleunigerarchitekturen in die Produktion gelangen und welche in Benchmark-Präsentationen verbleiben.