HBM4は、高帯域幅メモリの設計方法における転換点となる。標準のベースロジックダイを、特定のワークロードやプロセッサー向けにカスタマイズされたダイへ置き換えられるためだ。これにより、特にハイパースケールコンピューティング企業は、誰もが利用できる標準製品に頼るのではなく、メモリをカスタムXPUに合わせられるようになる。
これは、従来のHBMパッケージと同じ方法で購入できる新たな統一製品が登場することを意味しない。カスタムメモリ、すなわちcHBMの各用途では、ベースダイを誰が設計し、誰が製造してウェハーをテストし、誰がメモリ層を統合し、誰が最終テストを実施するのかを定める合意が必要になる。記事によれば、答えはプロジェクトや参加する顧客によって異なる。
HBM4で何が変わったのか？
HBMパッケージは複数の層で構成され、その大半はメモリダイである。一方、最下部にはロジックダイがあり、パッケージ内の管理、アドレス指定、制御タスクを担う。HBM3までは、Micron、Samsung、SK hynixなどのメモリ企業が、ベースダイを含むすべてのダイを設計・製造していた。
HBM4では、ベースダイがDRAMに近いプロセスではなく、より先進的なロジック製造プロセスへ移行した。4ナノメートルまたはそれより新しいノードが採用される可能性が高い一方、DRAMダイ自体はこれらのプロセスへ移行しない。そのため、ロジックファウンドリーがベースダイを製造し、標準版ではメモリ企業がパッケージの組み立てとテストを担当できる。
HBM4およびそれ以降の世代では、この標準ダイをカスタムダイへ置き換える選択肢が加わる。必ずしもメモリ層そのものを変更する必要はなく、カスタマイズの中心は制御ロジック、インターフェース、管理機能となる。これにより、パッケージをシステム設計に適合させられる。
なぜカスタマイズの対象はハイパースケールコンピューティング企業なのか？
標準HBMを利用するには完成品のユニットを購入する必要があるが、カスタマイズでは、資金、人員、ツール、時間を必要とする設計プロジェクトへとメモリの調達方法が変わる。そのため、ハイパースケールコンピューティング企業が最も明確な候補となる。こうした企業は必要なリソースを保有しており、AIワークロードも一般的なウェブサーバーのワークロードより専門化されている。
これらの企業は、特定のタスク向けに大規模なマシン群を割り当てることがあり、プロセッサーとメモリを同時に変更する意義が大きくなる。また、AIコンピューティングの進化のペースは、標準策定のペースを上回っている。MarvellのKhurram Malikは、JEDECの標準化の遅さはハイパースケールコンピューティング企業の動きの速さに追いついていないと指摘した。そのため、カスタマイズによって、正式な標準を待たずに新たなワークロードへ対応できる可能性がある。
企業も独自のXPUを構築することを評価し始めているが、この動きはまだ初期段階にある。Marvellは、自社のカスタムクラウドコンピューティング部門を通じて実例を提供している。同部門は顧客向けのXPUを開発しており、顧客ごとに完全に別個のソリューションを構築するのではなく、複数の顧客の要件を満たせるカスタムHBM版の設計を目指している。
チップ設計では実際に何が変わるのか？
ベースダイをカスタマイズすると、メモリコントローラーがホストプロセッサーのチップからHBMのベースダイ内部へ移る。そのため、AXI、すなわちArmの拡張可能なインターフェースを使用するのか、別の方式を使用するのかなど、プロセッサーとコントローラーの接続方法について合意する必要がある。また、プロセッサーとメモリパッケージ間の通信インターフェースを、システムに適合するよう最適化することもできる。
この変更により、処理チップ上のスペースが解放される。メモリコントローラーと関連するPHYインターフェースが、従来の方法で別々のチップ間の信号を駆動する必要がなくなるためだ。Malikによれば、DRAM PHYをUCIeなどのdie-to-dieインターフェースへ置き換えることで、通信ブロックを標準PHYより約70%小型化できる可能性がある。また、プロセッサーチップ上のコンピューティング能力を25%増加させ、消費電力を削減し、XPU全体の効率を改善できる可能性もある。
カスタムベースダイによって、より大きな接続領域、いわゆるチップの「海岸線」を確保できる可能性もある。これにより、より多くのHBMパッケージを接続し、コンピューティングユニットが利用できるメモリ容量を増やせる可能性がある。カスタマイズには、信頼性・可用性・保守性の機能、テレメトリーデータの収集、システム内での管理メカニズムも含まれる場合がある。
誰がパッケージを設計し、誰が製造するのか？
設計は、設計、ウェハーの製造とテスト、組み立て、最終テストという4段階の中で最も難しい段階に見える。エンジニアリングチーム、ツール、そしてメモリの増量や変更が性能と電力にどのような影響を与えるかについての明確な見通しが必要だからだ。メモリ企業は専門知識を持っているものの、現在の需要への対応でリソースが埋まっており、多数のカスタム設計を実行する専任チームを持っていない可能性がある。
そのため、設計はメモリの顧客自身、例えばハイパースケールコンピューティング企業や、Marvellのようなファブレス設計企業が担当する可能性がある。既存の設計ブロックを再利用する場合でも、ハイパースケールコンピューティング企業の要件は同一ではないため、顧客ごとの調整と最適化が必要になる。
ウェハーの製造とテストはロジックファウンドリーで行われると予想されるが、標準ベースダイを製造するファウンドリーと同じとは限らない。組み立ての責任主体はプロジェクトの合意によって決まる。標準HBM4では、メモリ企業がテスト済みのロジックダイを受け取り、パッケージを組み立てて最終製品をテストする。一方、cHBMでは、メモリ企業、ロジックファウンドリー、専門の組み立て施設が責任を分担する場合や、顧客が統合におけるより大きな所有権を保持する場合がある。
TSMCは最近、Winbondとの協業を発表した。Winbondがメモリチップを提供し、TSMCがパッケージの組み立てを担当する。このモデルは、パッケージ統合が主要メモリ企業だけに限定されない可能性を示している。
cHBMはメモリ不足の圧力を緩和するのか？
Synopsysは、代替となるカスタムDRAMスタッキングを使用するプロジェクトは年間20件を超えないと予想しており、この経路の限定性を示している。また、cHBMが市場全体の需要を必ずしも増加させるわけではない。メモリの総需要には標準用途とカスタム用途の両方が含まれるため、影響は総需要の増加よりも製品構成に関係する。
それでも、メモリの確保は依然として難しい。Malikは、メモリサプライヤーの工場の利用可能な生産能力が約1年半から2年先まで売り切れており、価格も上昇していると指摘した。カスタムプロジェクトの数や製造場所を予測することは標準パッケージの計画より難しいため、供給計画はさらに複雑になる可能性がある。
なぜこの進展が重要なのか？
cHBMは、AIシステムにおける競争がメモリ容量の増加だけでなく、メモリ、プロセッサーユニット、インターフェースを一つの設計へ統合することにも関係することを示している。現在進行中のプロジェクトでは、カスタムパッケージが1年または2年以内にデータセンターへ到達する可能性がある。しかし、その普及は設計コスト、エンジニアリングチームの確保、パートナーの組み立て・テスト能力によって制約され続ける。そのため、市場の将来はすべての顧客に適した統一ソリューションではなく、複数のモデルによって形成されるように見える。