AIチップ内でデータを共有する構成要素の数が増えるにつれ、こうしたデータの管理はもはやソフトウェアだけの責任ではなくなっている。データアクセラレーターがメモリに書き込んだ後、CPUがそれを読み取る場合や、構成要素同士が共有の制御情報を交換する場合、ソフトウェアはどのデータのコピーが最新なのかを把握しなければならない。本稿は、メモリコヒーレンシーを用いてこの作業のより大きな部分をハードウェアに移すことで、ソフトウェアの複雑さ、調整上のエラー、システム開発の難しさを軽減できると説明している。
本稿はSemiconductor Engineeringにスポンサー付きブログ記事として掲載され、Arterisで製品管理およびマーケティングの責任者を務め、コヒーレントインターコネクトとダイ間通信を担当するAshley Stevensが執筆した。そのため、技術的に有用な説明を提供する一方で、Arteris製品の能力を紹介する内容も含んでおり、この点は主張を評価する際に考慮すべきである。
個別のコピーから共有メモリへ
従来のシステムでは、プロセッサーとアクセラレーターを比較的分離しておくことが可能だった。プロセッサーはPCIe経由でアクセラレーターと通信し、データをアクセラレーターのメモリにコピーした後、メッセージを送信して結果を待つ。このモデルは各ユニットがより独立して動作していた時代には実用的だったが、共有データの量と処理段階の数が増えるにつれて、より複雑になる。
この問題は、エッジAIシステムでより明確になる。そこでは、汎用プロセッサーとAIアクセラレーターを1つのSoCに統合したり、マルチダイ設計の中で接続したりする場合がある。この場合、データは結果がアプリケーションに届くまで複数の段階を通過する一方、調整および制御の情報は、関係する構成要素が正しいバージョンを利用できる状態でなければならない。
メモリコヒーレンシーは、共有データがメインメモリに存在する場合でもキャッシュに存在する場合でも、チップレベルでデータの統一された見え方を維持する技術である。ソフトウェアが変更を追跡し、コピーが更新されていることを確認する代わりに、コヒーレントインターコネクトとメモリシステムがこの作業の一部を担う。
実際には何が変わるのか？
基本的な結果は、すべてのコピー処理をなくしたり、すべての通信を同一にしたりすることではなく、異種ユニットの動作を調整するために必要なソフトウェアロジックの量を減らすことである。ハードウェアが共有データの状態を管理すれば、ソフトウェアは各構成要素が古いコピーを読んでいるのか、更新されたコピーを読んでいるのかを追跡するよりも、アプリケーションロジックと作業のスケジューリングにより集中できる。
この変化により、ソフトウェアはより単純で開発しやすくなり、実行中に発見するのが難しいエラーも減る可能性がある。本稿はこの手法をソフトウェア開発の速度と信頼性に結び付けているが、性能や開発期間の改善幅を測定する数値は示していない。したがって、定量的な利点が本文だけで確定しているとはみなせない。
必要な場所でコヒーレンシーを適用する
本稿は、すべてのデータ移動にコヒーレンシーを適用することが最適な設計だとは考えていない。高帯域幅のストリームは必ずしもメモリコヒーレンシーを必要としない一方、処理ユニット間でシステムの動作を調整する情報は、この仕組みを必要とする。そのため、提示された主張によれば、ほとんどのAIチップはコヒーレントインターコネクトと非コヒーレントインターコネクトを組み合わせて使用している。
コヒーレントネットワークは、複数の処理ユニットが同じデータまたは状態を共有する場合に使用され、非コヒーレントネットワークは、共有された見え方を必要としないデータを転送できる。この分割により、設計者はすべての経路にコヒーレンシーのコストを負わせるのではなく、帯域幅、レイテンシー、消費電力の要件に応じて、残りの通信を最適化できる。
マルチダイ設計の重要性
この考え方は、より大きなチップを複数のダイに分割し、それらが情報を交換するマルチダイシステムにも及ぶ。本稿は、これらのダイ間でコヒーレンシーを維持することで、共有データの調整責任を全面的にソフトウェアへ戻すことなく、異種システムの拡張に役立つと述べている。
Arterisは、この文脈で自社ポートフォリオの3つの構成要素を挙げている。FlexNoCは非コヒーレント通信向け、FlexGenは先進チップおよびマルチダイシステムにおける高性能NoCネットワークの設計自動化向け、Ncoreはコヒーレントインターコネクトファブリックを提供する。これらの言及は同社製品における技術の位置付けを説明するものだが、新たな製品発表や、市場のソリューション間の独立した比較を示すものではない。
なぜこのニュースが重要なのか？
この主張における最も重要なアーキテクチャ上の価値は、ソフトウェアを簡素化するためにトランジスターを増やすことが、必ずしも浪費とはみなされなくなった点にある。AIシステムが汎用プロセッサー、アクセラレーター、マルチダイチップを組み合わせた設計へ移行するにつれ、ハードウェアとソフトウェアの間で責任をどのように分担するかが、拡張性と開発の容易さに影響する決定となる。
しかし、実際上の問題は、コヒーレンシーにどれだけの追加ハードウェアを割り当てる価値があるのか、また、面積、電力、設計、検証における不要なコストを避けるために、どこで適用を止めるべきかという点に残る。本稿は共有データと非共有データを区別する原則を提示しているが、この判断を行うための定量的な基準は定めておらず、コヒーレント方式と、より大きなソフトウェア管理に依存する方式を比較する試験結果や、文書化されたユースケースも示していない。