AIデータセンターのアーキテクチャは、中央処理装置（CPUs）、グラフィックス処理装置（GPUs）、ニューラル処理装置（NPUs）、専用アクセラレーターに加え、高帯域幅メモリ、銅線および光インターコネクト技術を組み合わせたヘテロジニアス・コンピューティング・クラスターへと向かっている。この変化は、モデルの学習と推論のタスクの性質が異なることを反映している。特に、エージェント型AIアプリケーションの拡大に伴い、並列計算、状態管理、意思決定、ツール呼び出しの実行を組み合わせる必要が生じている。
これは、Semiconductor Engineeringが、ArmのSatadal Bhattacharjee、AxiomiseのAshish Darbari、CadenceのMoshiko Emmer、ExpederaのSharad Chole、Siemens EDAのCameron Brunner、SynopsysのSumit Vishwakarmaを招いて行った議論で示された。この資料は、AIデータセンターのアーキテクチャの変化をめぐる議論シリーズの第3部かつ最終部に当たる。
高性能サーバーから分散システムへ
複数プロセッサーによるクラスターは、エンジニアリング上の問題そのものを変えている。処理、メモリ、入出力のバランスを取る単一サーバーを設計する代わりに、性能はワークロードの分割、通信パターン、データ転送や同期処理を効率的に実行するインターコネクト・ネットワークの能力に左右されるようになる。
参加者は、Tensor parallel、data parallel、context parallel、pipeline parallelなど、異なる並列化モデルには、それぞれ異なるネットワーク・トポロジーが必要だと説明した。パイプライン並列は連続するステージを接続する一方、テンソル並列では大規模な集約処理を行い、その後に結果を再びブロードキャストする必要がある。そのため、インターコネクト・ネットワークの選択はクラスターとは別個の構成要素ではなく、クラスターの定義の一部となる。
モデルの大型化に伴い、メモリの重要性も増している。固定されたモデルパラメーターに加え、処理されるリクエスト数やシステムが保持する情報量の影響を受ける動的なコンテキストが存在する。そのため、HBMのコストとその使用方法は、特に1秒当たりに処理するリクエスト数の増加を目指すデータセンターにおいて、GPUの効率を左右する要因となっている。
推論を専門クラスター間で分解する
Satadal Bhattacharjeeは、重要な傾向の一つとして、推論パイプラインを複数の独立したステージに分解することを挙げている。処理は、プロンプトを解析して必要な内容を特定するprefillステージから始まる。このステージは計算負荷が高い。次に、応答を生成するdecodeステージが続き、その後、ツールの呼び出しや特定の処理の実行など、エージェントによるタスク実行のステージが続く。
このモデルでは、prefillステージ用にハードウェアとソフトウェアのクラスターを割り当て、decodeステージ用に別のクラスターを割り当て、エージェントのタスク実行用に計算クラスターを割り当てたうえで、議論によれば多くの場合Ethernetを介してこれらのクラスターを相互接続できる。これにより、すべてのステージを1台のGPUで実行するのではなく、それぞれのハードウェアを適したタスクに使用できる。
Bhattacharjeeは、NvidiaがprefillクラスターでGroq 3 LPUを使用すると発表したことを、推論に複数種類のプロセッサーが必要となる可能性を示す例として挙げた。また、DigitalOceanが、AMDとNvidiaのハードウェアを含むヘテロジニアス・クラスターの利用に最適化された5層の推論アーキテクチャの展開を発表し、後から新たなハードウェアを追加できるとしていることにも言及した。
ソフトウェアが調整役を担う
CPU、GPU、NPU、アクセラレーターを一つのシステムに集めるだけでは十分ではない。ソフトウェアは各コンポーネントの特性を把握し、各ステージをどこで実行するかを決定し、データ転送、スケジューリング、待機、APIへのアクセス・ポイントを調整する必要がある。CPUは状態管理、命令の指示、ツール呼び出しを担い、アクセラレーターは推論や推論時の思考に関連する行列乗算を含む高密度な計算を担うことができる。
仮想マシンは、より高いレベルでクラスターを抽象化するために使用されるが、参加者は、Dockerなどのコンテナベースの環境が、GPUドライバーのコンポーネントやツールチェーンを再現可能な形で展開する主流の方法だと説明した。コンテナ層の上には、実行、調整、スケジューリング、キュー管理、モデルの展開、API提供のための専門コンポーネントが存在する。
参加者は、統合されたソフトウェア・エコシステムを保有していることがNvidiaの強みの理由の一つだとした。同社は20年以上にわたりソフトウェアに投資してきた。しかし、複数企業のハードウェアへの移行には、この多様性を管理できる調整層が必要となる。Gimlet LabsやTogether AIなどの企業が、prefill、decode、実行クラスターの運用最適化を含め、この層の提供に取り組んでいる企業として挙げられた。
インターコネクトと電力がスケーラビリティを決める
クラスター間のインターコネクトの選択肢には、Ethernet、InfiniBand、Slingshotがある。Slingshotは、Hewlett Packard EnterpriseのEthernetベースの高速ネットワーク技術である。議論によれば、Ethernetはより広範な標準を提供する一方、専用技術は特定のケースでより高い性能を提供できるが、特定のベンダーのエコシステムとの結び付きが強くなる。
光インターコネクトへの関心も高まっている。Googleは光接続を備えたTPUを使用しており、パッケージ内に光学系を組み込む技術（co-packaged optics）も研究されている。フォトニクスの魅力は、電気接続と比較して抵抗と消費電力を低減できる点にある。これは、すでに熱と冷却コストの課題を抱えているクラスターにとって重要である。
パッケージレベルでは、複数のチップ、HBM、さまざまなコンポーネントを統合することで、熱、機械、電気に関する影響が複雑になる。熱、反り、エレクトロマイグレーションの問題、シグナルインテグリティが、ノードおよびクラスター全体の性能に影響を及ぼす可能性がある。そのため、必要なのは単一の普遍的なインターコネクト技術ではなく、パッケージ内のダイ間接続からクラスター・ネットワークに至るまで、各レベルに適合するインターコネクト層である。
なぜこの傾向が重要なのか？
Bhattacharjeeが示した結論は、電力が第一の問題であり、次にトークン効率が続くというものだ。ヘテロジニアス・クラスターは、各ステージの性質にハードウェアを適合させることで、トークンコストを削減する道筋を示す。しかし、それを実現するには、成熟した調整ソフトウェア、データの位置、帯域幅、熱状態、各エンジンの専門性を明確に測定する仕組みが必要となる。このエコシステムは多くの場合、複数企業のコンポーネントに依存するため、大規模に効率よく動作するシステムの構築は、GPUを別のアクセラレーターに置き換えるだけの作業ではなく、依然として未解決のエンジニアリング上の課題である。