数据中心正着手重新设计其架构，以容纳功耗最高可达一兆瓦的机架。这一趋势受到人工智能负载增长的推动，而人工智能负载正变得更加持续，并且能耗密度更高。但这一趋势并未平息关于最佳扩展方式的争论：究竟是将更多处理单元塞进超高密度机架，还是通过更加分散的架构重新分配计算任务？
《半导体工程》认为，转向一兆瓦机架并不只是增加加速器数量，而是要求对冷却、供电、机架设计、网络互连以及集成电路三维封装进行根本性改变。与此同时，光互连、专用芯片和分布式计算可能减少将所有这些功率集中在一个空间内的需求。
从服务器容器到完整计算系统
Google、Meta 和 Microsoft 正在 OCP 旗下的 Mount Diablo 项目中开展合作。该项目建立在 Diablo 框架之上，旨在制定支持兆瓦级机架的标准。合作内容包括机架机械结构、冷却、液体管理、水流和电源等要素，同时每家云服务提供商仍保留自己的实施路径。
Cadence 的 Arif Khan 指出，机架已不再只是容纳一组服务器的被动结构。计算密度和电气及信号连接数量的增加，加上 GPU 模块尺寸和功耗的提升，使机架成为一个涵盖液冷、电源机架、母线、网络交换机和系统管理的完整设计单元。Nvidia DGX 等机架级平台体现了这种方式。
Google 提出了在数据中心内部采用 ±400 伏直流配电，借鉴为电动汽车行业开发的技术和经验。提高配电电压有助于在处理高达一兆瓦的功率时降低电流、损耗以及电缆复杂度。
在机械层面，Open Rack Wide（ORW）设计扩展了 Open Compute Project 的架构能力，以容纳更大、更重且功率密度更高的人工智能系统。ORW 的宽度约为 ORV3 机架的两倍，并配有额外的结构加固。AMD 在 Helios 架构中采用了这一方法，该架构基于 Meta 于 2025 年向 OCP 提交的 ORW 规范；而 Nvidia 则将机架级 DGX 系统置于更传统的机架尺寸之中。
三维封装与电力挑战
随着密度提高，3D-IC 设计变得更加重要。文章援引 Synopsys 的 Daniel Wilkinson 称，大型云服务提供商正在研究计算裸片堆叠，可能的方案包括在中介层上增加裸片数量，或将两个裸片叠加在一起。然而，这些架构会增加机械复杂性、制造良率挑战以及跨越较长距离传输数据的难度。
解决方案可能因处理器性质而异。一些设计，例如 Google 的 TPU，依赖大型计算阵列；而另一些设计则转向采用更多更小核心的 GPU 式架构。这会导致堆叠方式、互连地址要求以及基础 IP 需求各不相同。
Rambus 的 Steven Woo 表示，机架功率密度已从 20 年前的约 4 千瓦提升到如今的超过 100 千瓦。随着配电电压从 12 伏提升到 48 伏，甚至可能达到 480 或 800 伏，可以用更低的电流传输相同功率，从而减少对更粗铜连接器的需求。
Infineon Technologies 的 Christian Hoefling 警告称，到本十年末，GPU 单元的峰值电流可能达到每单元 10,000 安培，而此前的 CPU 系统电流范围要低得多。由于功率损耗与电流的平方成正比，在连接电阻保持不变的情况下，电流翻倍会导致损耗大幅增加。因此，他预计千兆瓦级数据中心将转向高压直流配电，以减少电源转换级数，并简化向机架供电的过程。
最高密度机架是唯一道路吗？
并非所有参与讨论的人都认为提高机架功率是最佳扩展路径。Quadric 的 Steve Roddy 认为，将更专业化的芯片与回归某些形式的分布式计算结合起来，可能会降低数据中心的功率密度。用于训练或推理的专用芯片可以提供更高的每瓦推理性能，同时还可以将令牌生成分布到数百万个家庭和企业中，与集中式模型并行运行。
据 Ayar Labs 的 Vishal Chandrasekar 介绍，该公司押注兆瓦级机架不会得到广泛普及。与其让 GPU 单元彼此靠近并依赖铜连接，不如使用光互连，将扩展域内的通信范围延伸到 500,000 个或更多单元。这样可以将 GPU 单元分布在整排机架中，例如将每个机架维持在 200 千瓦，并以光互连方式连接 10 个机架，在无需每两年全面重新设计电力分配和地板承重能力的情况下，实现大致相当于更高功率机架或机架组的性能。
降低机架密度并不意味着增加加速器数量就一定能带来更好性能。连接效率、内存带宽、延迟、集体操作效率和互操作性，都是让数千个 GPU 单元作为一个协调系统运行的关键因素。可扩展开放互连标准（例如 UALink）在这里发挥着重要作用。
代理负载给设计和时间表带来压力
长时间运行的代理式人工智能负载正促使设计人员放弃依赖平均功耗的假设，并开始应对间歇性峰值。Siemens EDA 的 Sathishkumar Balasubramanian 表示，其中一些负载要求假设系统始终接近峰值功率运行，并对功耗和热量进行精确分析。此外，不规则使用以及有时全天候持续运行的情况，也要求整个电力和冷却系统都按照这一场景进行设计。
频繁的上下文切换，以及对模型保存、挂起和恢复的要求，使系统速度变得更加重要。另一方面，堆叠裸片架构和密集转换使得在验证和实施期间理解热图以及物理效应变得更加困难。
与此同时，上市窗口正在缩短。Synopsys 的 Manmeet Walia 表示，一些产品只有一年的时间进入量产，而规格确定需要 1.5 至 2 年。此外，为新技术开发测试芯片，例如 HBM 和与内存共同封装，会占用数月的开发周期。加速器项目的成本可能达到 10 亿美元，这使得使用未经验证或未经认证的 IP 成为重大风险。
解决方案碎片化，而非一套架构适用于所有场景
文章提出，并非所有推理负载都需要兆瓦级机架。中型模型可能构成大部分推理负载，而训练操作和更大型号则需要不同的架构。此外，云服务提供商还可能依赖多种平台，包括 Nvidia 或 AMD 产品以及定制的内部架构。
Wilkinson 指出，机构未必会在本地技术机房内放置一个重达三吨、耗电 500 千瓦的机架，这为能够在本地站点容量范围内运行、且适用于不限于大型语言模型的工作负载的解决方案打开了空间。文章给出的结论是，兆瓦级机架并不是单个机架的问题，而是一个涵盖从电网到芯片、从芯片到冷却器、从一个加速器到另一个加速器的系统集成问题。