AIワークロード向けデータセンターネットワークの構成は、クラスターが単一ラックの限界を超えるにつれて変化しており、光接続の役割が拡大するとともに、銅線をscale-up、光ファイバーをscale-outに結び付ける従来の原則が弱まっている。Semiconductor Engineeringが2026年8月13日に掲載した記事によると、ラック内のデータ転送速度の上昇により、銅線は損失、距離、消費電力の限界に近づいている。一方、光は高いデータレートにより適した経路を提供できるが、電力と信頼性に関する要件を調整する必要がある。
この変化が重要なのは、GPUの性能において待ち時間が及ぼす影響による。OmnitronのCEO兼共同創業者であるエリック・アギラール氏は、多くの報告が、GPUの効率は作業を実行するのではなくデータを待っているため、約25%に達する可能性があると示していると述べた。したがって、接続媒体の選択は接続距離だけの問題ではなく、プロセッサを稼働状態に保ち、遅延と無駄な電力を削減するネットワークの能力にも関わる。
ラック内のscale-upからより広い範囲へ
scale-upは通常、メモリセマンティクスに基づいて処理できる、銅線を使用した単一ラック内の接続と定義されていた。しかし、コンピューティングクラスターが隣接するラックに設置されたサーバーまで広がるにつれて、この定義は正確さを失っている。この場合、距離が長くなり、銅線が最適な選択肢ではなくなる可能性がある。
Ayar Labsの製品管理責任者であるヴィシャル・チャンドラセカール氏は、ラック内では銅線が有力だが、隣接ラックを越える場合には光接続が予想される選択肢になると述べている。同氏の推定によれば、伝送速度が200ギガビットの場合、銅線は5メートル、限界まで駆動すれば7メートルまで適している可能性がある。一方、10メートル以上になると光接続が必要になる。
これは、すべてのscale-upアプリケーションから銅線が消えることを意味するわけではない。むしろ、scale-upの定義においてより安定した要素は、システムが単一ラック内にあることや物理媒体の種類ではなく、メモリセマンティクスの利用になる可能性がある。Synopsysでインターフェース向けIP部門の製品管理ディレクターを務めるプリヤンク・シュクラ氏は、ソフトウェア上の定義は単一のオペレーティングシステム領域と単一のメモリが存在することに関係し、プロセッサはそのメモリの場所にかかわらずメモリ位置へ書き込めると説明した。
scale-inという用語の登場
scale-up、scale-out、scale-acrossに加えて、scale-inという新しい用語も登場した。チャンドラセカール氏によると、この用語は記事掲載前の3か月間に使われ始め、GPUから外部へ出る帯域幅のうち、単一のサーバー筐体内にとどまる量を指す。
- Scale-in：単一サーバー内または単一ボード上のプロセッサ間の接続。
- Scale-up：共有メモリの範囲内の接続。従来はラック内および銅線と結び付けられていた。
- Scale-out：ラック間の接続。Ethernet RDMAセマンティクスを使用し、光接続への依存が高まっている。
- Scale-across：光ファイバーを介した異なるデータセンター間またはキャンパス間の接続。
UALink規格はscale-up環境における基本的な期待を維持している。それは、各アクセラレーターが他のアクセラレーターから1ホップの距離にあるということだ。シュクラ氏によると、UALinkネットワークは、scale-upの範囲が複数のラックに及ぶ場合でも、1つのスイッチを経由するアクセラレーター間接続を維持するよう設計されている。このスイッチは、ラック上部や中央など、ラック構成内のさまざまな位置に配置できるが、原則は両端間のデータトラフィックを1ホップ以内に保つことである。
トポロジーと光回路交換
scale-upの範囲が拡大すると、性能を決めるうえで媒体の種類だけでは不十分になり、アクセラレーター、スイッチ、サーバーを接続するネットワークトポロジーが重要な要因になる。最も一般的な設計の一つはClos、またはleaf-and-spine構成で、サーバー間に短い経路を提供する。しかし記事によると、Googleは独自のAIネットワークでtorusネットワークを使用している。この構成では、TPUが3方向で隣接するユニットに接続され、systolic構造に似た性質を持つ。
torusネットワークでは通常、2地点間の到達に必要なホップ数が変動し、記事で示された経路は、leaf-and-spine構成の1ホップに対して最大4ホップに達する可能性がある。パケット交換を使用する場合、各スイッチまたはルーターでパケット情報を検査しなければならない。光技術はパケットを直接扱わないため、次のホップを決定するために各ノードで信号を光から電気へ変換し、その後再び光へ戻す必要がある。こうした変換の繰り返しにより、遅延時間と消費電力が増加する。
このため、回路交換技術（circuit switching）が再び議論の対象となっている。各ノードでパケットを処理する代わりに、回路交換は送信元から宛先までの完全な経路を開き、1つのフローに割り当てる。Googleはtorus構成で光回路交換ネットワークを導入しており、他の組織は異なるトポロジーでOCSネットワークを使用することを検討している。これは、AIクラスターの拡張が銅線を光に置き換えるだけでなく、経路の編成方法、ホップ数、データ転送の仕組みそのものを再検討することも意味している。