随着集群超出单个机架的范围，面向人工智能负载的数据中心网络架构正在发生变化，这扩大了光互连的作用，也削弱了将铜缆与scale-up、将光纤与scale-out对应起来的传统规则。根据Semiconductor Engineering于2026年8月13日发布的文章，机架内数据传输速率的提高正使铜缆面临损耗、距离和功耗方面的限制；而光可以为高数据速率提供更合适的路径，但前提是要控制功耗和可靠性要求。
这一转变的重要性源于延迟对图形处理器性能的影响。Omnitron首席执行官兼联合创始人埃里克·阿吉拉尔表示，许多报告指出，GPU的利用效率可能只有约25%，因为它们在等待数据，而不是执行工作。因此，互连介质的选择不仅与连接距离有关，还关系到网络能否让处理器保持忙碌，并减少延迟和浪费的能耗。
从机架内scale-up到更大范围
过去，scale-up通常被定义为使用铜缆在单个机架内进行连接，并允许按照内存语义进行处理。但随着计算集群扩展到相邻机架中的服务器，这一定义变得不再准确。在这种情况下，距离会增加，铜缆可能不再是最佳选择。
Ayar Labs产品管理负责人Vishal Chandrasekar表示，在机架内部更可能使用铜缆，而当连接超出相邻机架时，光互连将成为预期选择。据他估计，在每秒200吉比特的传输速率下，铜缆可能适用于最长五米的距离，推至极限时可达七米；而达到十米或更长距离时，光互连就变得必要。
这并不意味着铜缆会从所有scale-up应用中消失；scale-up定义中最稳定的要素，可能会变成内存语义的使用，而不是系统是否位于单个机架内或采用何种物理介质。Synopsys接口IP产品管理总监Priyank Shukla解释说，软件定义与单一操作系统域和单一内存的存在有关，因此处理器可以向某个内存位置写入数据，而不论该内存位于何处。
scale-in术语的出现
除scale-up、scale-out和scale-across之外，还出现了一个新术语scale-in。Chandrasekar表示，该术语在文章发布前的三个月内开始使用，指的是从GPU流出的、仍保留在单个服务器机箱内的带宽量。
- Scale-in：单个服务器内或单块板卡上的处理器之间的连接。
- Scale-up：共享内存范围内的连接，传统上与机架内部和铜缆相关联。
- Scale-out：机架之间的连接，使用Ethernet RDMA语义，并越来越多地依赖光互连。
- Scale-across：通过光纤连接不同数据中心或园区。
UALink标准保留了scale-up环境中的一项基本预期，即每个加速器与其他加速器之间都只需一跳。Shukla表示，UALink网络的设计目标是保持加速器之间经过一个交换机的连接，即使scale-up范围扩展到多个机架。当机架内部署该交换机时，可以将其放置在不同位置，例如机架顶部或中部；但原则是让两端之间的数据流保持在一跳之内。
拓扑与光交换
随着scale-up范围扩大，仅凭介质类型已不足以确定性能；连接加速器、交换机和服务器的网络拓扑也成为关键因素。Clos或leaf-and-spine架构是最常见的设计之一，能够在服务器之间提供较短路径。但据文章介绍，Google在其人工智能网络中采用了torus网络，其中TPU与三个方向上的相邻单元相连，使该设计具有类似脉动阵列（systolic）架构的特征。
torus网络通常需要数量不固定的跳数才能在两个节点之间建立连接；文章所示路径最多可能经过四跳，而leaf-and-spine架构只需一跳。采用分组交换时，每个交换机或路由器都必须检查数据包信息。由于光技术无法直接处理数据包，信号需要在每个节点从光转换为电，以确定下一跳，然后再转换回光。这些反复转换会增加延迟和功耗。
因此，电路交换技术重新进入讨论范围。电路交换不是在每个节点处理数据包，而是从源端到目的端建立完整路径，并将其分配给单个数据流。Google已经在torus配置中部署了光电路交换网络，而其他机构也在研究将OCS网络与不同拓扑结合使用。这表明，人工智能集群的扩展不仅仅是用光替代铜缆，还包括重新思考路径组织方式、跳数以及数据传输机制。