エッジデバイスがビジョンネットワークだけに依存する状態から、大規模言語モデル（LLM）、視覚言語モデル（VLM）、生成AI機能を従来の認識ネットワークと併せて実行する状態へ移行する中で、AIニューラル・プロセッシング・ユニット（NPU）の設計が変化している。Expederaのチーフサイエンティスト兼共同創業者であるシャラド・チョールは、この変化によって問題の中心が演算量の最大化から、特にスマートフォン、自動車、組み込みゲートウェイにおけるデータとメモリの移動管理へ移ると考えている。
この記事はSemiconductor Engineeringにスポンサー付きブログ形式で掲載されたものであり、Origin Evolutionのアーキテクチャに関する数値と結果は、掲載元による独立試験ではなく、Expederaが示す結果と実験として提示されている。
演算ボトルネックからメモリボトルネックへ
YOLO検出器、MobileNet分類器、画像セグメンテーションネットワークなど、CNNベースのビジョンワークロードでは、歴史的に主な制約は演算能力だった。データと重みは大幅に再利用され、推論中の実行はほぼステートレスであり、そのためアクセラレーター設計は、面積と電力の制約内で積和演算（MAC）の数を増やすことに重点を置いていた。
Expederaによると、大規模なレイヤー単位ではなくパケット単位で作業をスケジューリングすることで、MACユニットの利用率が向上し、外部DDRメモリへのアクティベーション転送が削減された。しかし、LLMとVLMは負荷の性質を変える。Prefill段階は依然として演算密度が高い一方、Decode段階では、キー・バリュー・キャッシュ（KV cache）へのアクセス、パラメーターのサイズとそのアクセスパターンによって、すぐに制約を受けるようになり、実効的な再利用性は低下する。
この分析によれば、主に並列かつステートレスなCNN処理向けに設計されたNPUは、トランスフォーマーのデコード処理がメモリ帯域幅とKV cacheのサイズによって制限されるようになった場合、定格TOPSの数値だけで評価することは十分ではない。
トランスフォーマーのワークロードにおけるパケット
Expederaは、パケットベースの処理という概念をCNNからトランスフォーマーのブロックやKV cacheへのアクセスへ拡張することを検討している。これは、LLMやVLMを単に別のモデルとして扱うのではなく、その挙動に基づいてハードウェアとソフトウェアを共同設計する取り組みである。
著者の説明によれば、このアーキテクチャは、フロントエンド処理、アテンション、ベクトル処理のための個別の処理ブロックで構成され、ネットワーク構造と現在の実行段階がPrefillかDecodeかに応じて、ブロック間でパケットが転送される。同社によると、そのエンジンは単一コアで128テラフロップスまで、複数コア構成ではペタフロップス級まで拡張でき、メモリの挙動を設計の中心に据えている。
Expederaによれば、このアーキテクチャは、再学習や精度低下なしに、モデルが訓練されたとおりの実行を維持する。また同社は、Llama 3.2 1BとQwen2 1.5Bを実行した場合、パケットベースの処理によって、代替手法と比較して外部メモリトラフィックが75%以上削減されたとしている。さらに、メモリ制約のあるシナリオにおいて、数千の実効テラフロップスと、シリコン1平方ミリメートル当たり毎秒数十トークンと表現される結果も示している。
エッジデバイスと自動車にとって何を意味するのか？
推論をローカルで実行すれば、エンドツーエンドのレイテンシーを短縮できるほか、車内やデバイスのデータをクラウドの外に保つことができる。著者によれば、これはユーザー体験の要件がプライバシー上の制約や規制要件と重なる自動車やモバイルデバイスにおいて重要性を増している。
一方、デコードの各ステップでKV cacheをDDRやHBMへストリーミングすることは、特にエッジノードや車載システムにおいて、電力とコストの負担となる。Expederaは、外部転送を削減し、ローカルでの再利用を増やすことで、一定の電力予算内で毎秒生成できるトークン数を増やせる可能性があると考えている。
また、車載システムオンチップは、認識、ドライバー監視、インフォテインメント、生成機能を同時に実行する必要がある。著者の観点では、CNNとLLMを同時に主要ワークロードとして扱うNPUファミリーによって、プラットフォーム設計が簡素化され、もともとCNN向けに最適化されたコアへLLM対応を追加する場合と比べて、個別アクセラレーターの必要性を減らせる可能性がある。
この記事は、Origin Evolutionが2026年のEdge AI and Vision Product of the Year Awardsで「Best Edge AI Processor IP」を受賞したことに言及し、著者はこの受賞を、ピーク性能指標を単に引き上げるのではなく、メモリと電力のボトルネックを処理することの重要性と結び付けている。
PrefillとDecodeの2段階のモデル化
チョールは、工学的な価値はパケットという概念だけにあるのではなく、PrefillとDecodeの2段階を個別にモデル化し、最適化することにあると考えている。前者は高い演算スループットを必要とし、より大規模なモデルを扱いながら、部分的にはCNNの挙動に似ている。一方、後者ではKV cacheの読み出し、メモリストリーミング、各ステップでのより小規模な演算が支配的になる。
記事によれば、パケットフローと個別ブロックによって、両段階を区別する性能モデルと帯域幅モデルを構築し、KV cacheへの実際のアクセスパターンに基づいて、DRAMやHBMの帯域幅、SRAMの容量と分割など、メモリ構成とストリーミングインターフェースの設定を検討できる。また、LLMやVLMの機能がヒューマン・マシン・インターフェースやドライバー監視に結び付く、安全性に敏感な自動車ワークロードにおいて、最悪レイテンシーや帯域幅の影響を分析するためにも利用できる。
ソフトウェア互換性とEDAツールの役割
Expederaによると、Origin Evolutionのソフトウェアスイートは、HuggingFace、Llama.cpp、TVMなどからモデルを受け入れ、整数および浮動小数点精度、混合モード、レイヤーの融合または分割に対応するほか、チップレベルまたはマルチダイチップレベルで複数コアを集中制御できる。
著者の見解では、パケットはモデル利用者にとって新しいプログラミングモデルを意味しない。モデルの変換はコンパイラー・パスとランタイム環境内で実行され、再学習や精度低下なしに、訓練済みモデルをハードウェアへ配置できる。これにより、ハードウェアごとのカスタムな書き換えの必要性が減り、EDAおよび検証チームはLlama 3やQwen 2などのリファレンスアプリケーションに対して性能をテストできる可能性がある。
記事は、今後の問いはパケットがCNNで成功するかどうかにとどまらず、異種AIワークロード全体にわたるモデル化、スケジューリング、検証をどの程度簡素化できるかにあると結論付けている。生成機能が自動車やエッジデバイスへ移行する中で、これらの要因が、どのアクセラレーターアーキテクチャが量産へ移行し、どれがベンチマーク上の提案にとどまるのかを決定する可能性がある。