人工智能数据中心的架构正朝着异构计算集群发展，将中央处理器（CPUs）、图形处理器（GPUs）、神经处理器（NPUs）、专用加速器，以及高带宽内存和铜缆、光学互连技术结合在一起。这一转变反映了模型训练和推理任务性质的差异，尤其是随着代理式人工智能应用不断增长，这类应用需要结合并行计算、状态管理、决策制定和工具调用执行。
以上内容来自Semiconductor Engineering与 Arm 的 Satadal Bhattacharjee、Axiomise 的 Ashish Darbari、Cadence 的 Moshiko Emmer、Expedera 的 Sharad Chole、Siemens EDA 的 Cameron Brunner 以及 Synopsys 的 Sumit Vishwakarma 参与的一场讨论。本文是有关人工智能数据中心架构变化的系列讨论的第三篇，也是最后一篇。
从强大服务器到分布式系统
多处理器集群改变了工程问题本身的性质。过去需要设计一台在计算、内存和输入输出之间取得平衡的服务器，而现在，性能取决于工作负载的划分、通信模式，以及互连网络高效传输数据和执行同步操作的能力。
参与者指出，不同的并行模式，例如Tensor parallel、data parallel、context parallel和pipeline parallel，需要不同形式的网络拓扑。流水线并行连接连续的阶段，而张量并行则需要进行大规模聚合，然后再次广播结果。因此，互连网络的选择成为集群定义的一部分，而不是与集群相互独立的组件。
随着模型规模扩大，内存的重要性也随之上升。除了固定的模型参数之外，还有会随正在处理的请求数量和系统保留的信息量而变化的上下文。因此，HBM 内存的成本及其使用方式，成为影响 GPU 单元效率的两个因素，尤其是在希望提高每秒处理请求数量的数据中心内部。
在专用集群之间拆分推理
Satadal Bhattacharjee 认为，一个重要趋势是将推理流水线拆分为不同阶段。流程从prefill阶段开始，该阶段处理提示并确定其要求，属于计算密集型阶段。随后是生成响应的decode阶段，接着是代理执行任务的阶段，例如调用工具或执行特定操作。
在这种模式下，可以为 prefill 阶段配置一套硬件和软件集群，为 decode 阶段配置另一套集群，再配置一个用于执行代理任务的计算集群，然后将这些集群连接起来，根据讨论通常通过 Ethernet 连接。这样可以让每种硬件用于最适合自己的任务，而不是让单个 GPU 执行所有阶段。
Bhattacharjee 提到 Nvidia 宣布在 prefill 集群中使用 Groq 3 LPU，将其视为推理可能需要多种处理器的一个例子。他还提到，DigitalOcean 宣布部署一种为使用异构集群而设计的五层推理架构，其中包含 AMD 和 Nvidia 的硬件，并且未来还可以添加新硬件。
软件是协调环节
仅仅将 CPU、GPU、NPU 和加速器集中在同一个系统中是不够的。软件必须了解每个组件的特性，决定每个阶段在哪里执行，并协调数据传输、调度、等待以及对应用程序编程接口的访问。CPU 单元可以负责状态管理、指令路由和工具调用，而加速器则负责密集型计算，包括与推理和思考相关的矩阵乘法运算。
虚拟机被用于在更高层次上抽象集群，但参与者称，以容器为基础的环境，包括 Docker，仍是以可重复方式部署组件和 GPU 驱动工具链的主流方法。在容器层之上，还有用于运行、协调、调度、队列管理、模型部署和应用程序编程接口服务的专用组件。
参与者认为，拥有完整的软件生态系统是 Nvidia 强大实力的原因之一，因为该公司在软件方面的投资已超过 20 年。不过，转向使用多家公司的硬件，要求具备能够管理这种多样性的协调层。讨论中提到了 Gimlet Labs 和 Together AI 等公司，认为它们正在提供这一层，包括优化 prefill、decode 和执行集群的运行。
互连和能源决定可扩展性
集群之间的互连选项包括 Ethernet、InfiniBand 和 Slingshot。Slingshot 是 Hewlett Packard Enterprise 基于 Ethernet 的高速网络技术。根据讨论，Ethernet 提供更广泛的标准，而专用技术在某些情况下可能带来更好的性能，但代价是与特定供应商的生态系统绑定。
人们对光互连的关注也在不断增加。Google 将 TPU 与光学连接结合使用，同时也在研究封装内集成光学器件（co-packaged optics）技术。与电连接相比，光子的吸引力在于能够降低电阻和功耗，这对于本已面临散热挑战和高昂冷却成本的集群而言十分重要。
在封装层面，将多个芯片、HBM 内存和不同组件集成在一起，会增加热、机械和电气效应的复杂性。热量、翘曲、电迁移问题或信号完整性问题，都可能影响节点乃至整个集群的性能。因此，与其说需要一种全球通用的互连技术，不如说更需要与各个层级兼容的互连层，从封装内部芯粒之间的连接，到集群网络连接。
为什么这一趋势很重要？
Bhattacharjee 提出的结论是，能源是首要问题，而 token 效率紧随其后。异构集群通过使硬件与每个阶段的性质相匹配，为降低 token 成本提供了一条路径，但实现这一目标需要成熟的协调软件，以及对数据位置、带宽、热状态和每个引擎专业化程度进行明确测量。由于这一系统通常依赖多家公司的组件，因此，要构建一个能够在大规模上高效运行的系统，仍然是一个开放的工程挑战，而不仅仅是用另一种加速器替换 GPU。