データセンターは、最大1メガワットを消費する可能性のあるラックに対応するため、インフラの再設計に向かっている。これは、電力消費においてより継続的かつ高密度になったAIワークロードの成長に後押しされている。しかし、この方向性は、拡張の最善の方法をめぐる議論を決着させるものではない。超高密度ラックにさらに多くの処理ユニットを詰め込むのか、それとも、より分散したアーキテクチャ全体にコンピューティングを再配分するのか。
Semiconductor Engineeringは、1メガワットラックへの移行はアクセラレーターの数を増やすだけにとどまらず、冷却、電力供給、ラック設計、ネットワーク接続、集積回路の3次元パッケージングに根本的な変化を迫ると見ている。同時に、光技術、専用チップ、分散コンピューティングによって、これらすべての電力を1か所に集中させる必要性が減る可能性がある。
サーバー用コンテナから統合コンピューティングシステムへ
Google、Meta、Microsoftは、OCPのMount Diabloプロジェクトで、Diabloフレームワークに基づき、メガワットラックをサポートする標準の策定に取り組んでいる。この協力には、ラックの機械構造、冷却、液体管理、水流、電源などの要素が含まれるが、各クラウドプロバイダーは実装において独自の道筋を維持している。
CadenceのArif Khanは、ラックはもはや複数のサーバーを収容するだけの受動的な構造物ではないと指摘する。コンピューティング密度と電気・信号接続の数が増え、GPUモジュールのサイズと消費電力も増大することで、ラックは液冷、電源ラック、バスバー、ネットワークスイッチ、システム管理を含む統合設計単位となっている。このアプローチは、Nvidia DGXのようなラックレベルのプラットフォームに現れている。
Googleは、電気自動車産業向けに開発された技術と知見を活用し、データセンター内で±400ボルトの直流電力を分配する方式を提案している。分配電圧を高めることで、最大1メガワットの電力を扱う際の電流、損失、ケーブルの複雑さを低減できる。
機械面では、Open Rack Wide、すなわちORWの設計により、Open Compute Projectのアーキテクチャは、より大型で重量があり、電力密度の高いAIシステムに対応する能力を拡張する。ORWの幅はORV3ラックのおよそ2倍で、追加の構造補強を備える。AMDは、Metaが2025年にOCPへ提出したORW仕様に基づくHeliosアーキテクチャでこの方式を使用している。一方、NvidiaはラックレベルのDGXシステムを、より従来型のラック寸法に収めている。
3次元パッケージングと電力の課題
密度が高まるほど、3D-ICの設計は重要になる。SynopsysのDaniel Wilkinsonによると、大手クラウドサービスプロバイダーはコンピューティングダイの積層を検討しており、インターポーザー上のダイ数を増やすことや、2つのダイを重ねることなどが可能性として挙げられている。しかし、こうした構造は機械的な複雑さ、製造歩留まりの課題、大きな距離を越えてデータを転送する難しさを増大させる。
ソリューションはプロセッサーの性質によって異なる可能性がある。GoogleのTPUのように大規模な演算アレイに依存する設計もあれば、GPUのように、より多数の小さなコアへ向かう設計もある。その結果、積層方式、接続アドレスの要件、基盤となるIPに違いが生じる。
RambusのSteven Wooによると、ラックの電力密度は20年前のおよそ4キロワットから、現在では100キロワットを超えるまでに変化した。12ボルトから48ボルト、さらに480ボルトまたは800ボルトへ移行すれば、同じ電力をより低い電流で流せるため、より太い銅コネクターの必要性を減らせる。
Infineon TechnologiesのChristian Hoeflingは、GPUユニット当たりの最大電流が今世紀末までに1万アンペアに達する可能性があると警告する。これは、従来のCPUシステムのはるかに低い範囲と比較したものだ。電力損失は電流の二乗に比例するため、導通抵抗が一定のまま電流が2倍になると、損失は大幅に増加する。そのため、ギガワット規模のデータセンターでは、高電圧直流による電力分配へ移行し、電力変換段階を減らしてラックへの供給を簡素化すると予想されている。
より高密度なラックが唯一の道なのか？
ラックの電力を高めることが拡張の最善の道だという点で、議論に参加するすべての人が一致しているわけではない。QuadricのSteve Roddyは、より専門化されたチップと、分散コンピューティングの一部形態への回帰を組み合わせることで、データセンターの電力密度を緩和できると考えている。学習または推論に特化したチップは、ワット当たりの推論性能を高められる可能性があり、トークン生成を、中央集約型モデルと並行して数百万の家庭や企業に分散することもできる。
Vishal Chandrasekarによると、Ayar Labsはメガワットラックが広く普及しないと見込んでいる。GPUユニットを近接させ、銅線に依存する代わりに、光接続を使ってスケールアウト領域内の接続範囲を50万ユニット以上に拡張できる。これにより、GPUユニットをラック1列全体に分散できる。例えば、各ラックを200キロワットに抑え、10ラックを光接続することで、電力分配や床の耐荷重能力を2年ごとに全面的に再設計することなく、より高電力のラック、またはラック群とほぼ同等の性能を実現できる。
ラック密度を下げても、アクセラレーターの数を増やせば性能が向上するとは限らない。接続効率、メモリ帯域幅、遅延、集団演算の効率、相互運用性は、数千のGPUユニットを一貫したシステムとして動作させるうえで決定的な要因となる。ここで、UALinkのようなオープンなスケールアウト接続規格の役割が浮上する。
エージェント型ワークロードが設計とスケジュールに圧力をかける
長時間動作するエージェント型AIワークロードは、設計者に対し、平均消費量を前提とする考え方を捨て、断続的なピークに対応するよう迫っている。Siemens EDAのSathishkumar Balasubramanianによると、こうしたワークロードの一部では、常にピーク電力に近い動作を前提とし、電力と熱を詳細に分析する必要がある。また、不規則な使用や、ときには24時間連続する使用によって、電力および冷却システム全体をこのシナリオに合わせて設計することが求められる。
頻繁なコンテキスト切り替えや、モデルの保存、サスペンド、復元に関する要件によって、システム速度の重要性はさらに高まる。一方、積層ダイ構造と高密度な変換により、検証および実装時に熱マップと物理的影響を把握することはより困難になる。
これは市場投入までの期間が短縮している時期と重なっている。SynopsysのManmeet Waliaによると、一部の製品では生産へ移行するまでの期間がわずか1年しかない一方、仕様は1.5年から2年の期間で確定される。また、HBMやメモリとの共同パッケージングなど、新技術向けのテストチップの開発には、開発サイクルの数か月が費やされる。アクセラレータープログラムの費用は10億ドルに達する可能性があり、未検証または承認されていないIPの使用は大きなリスクとなる。
すべてに共通する1つのアーキテクチャではなく、ソリューションを分割
本記事は、すべての推論ワークロードが1メガワットラックで動作するわけではない可能性を示している。中規模モデルが推論ワークロードの大部分を占める一方、学習処理やより大規模なモデルには異なるアーキテクチャが必要となる可能性がある。また、クラウドサービスプロバイダーは、NvidiaやAMDの製品、社内でカスタマイズしたアーキテクチャなど、複数のプラットフォームに依存する可能性がある。
Wilkinsonは、施設が必ずしも、3トンの重量があり500キロワットを消費するラックをローカルの技術室内に設置するわけではないと指摘している。これにより、各サイトの現地能力の範囲内で稼働し、大規模言語モデルに限定されないワークロードに対応するソリューションの余地が生まれる。記事が示す結論は、メガワット級ラックは個々のラックの問題ではなく、電力網からチップへ、チップから冷却装置へ、そしてあるアクセラレーターから別のアクセラレーターへと広がるシステム統合の問題だということである。