如今，数据中心提升人工智能能力已不再只取决于处理器和加速器的数量，还取决于如何分配这些资源，以及如何将其连接到系统的其他组件。本文提出了一种混合方案：让部分资源保持在处理器附近，将其他资源扩展到多台服务器，并通过共享基础设施共享GPU和NVMe存储等高成本资源。
PCI Express，即PCIe，在这一方案中发挥着基础作用，因为它提供了广泛的硬件和软件生态，用于连接处理器、GPU、加速器、SmartNIC或DPU，以及存储设备。然而，更高的传输速率和更多的连接设备带来了超出单纯增加端口的挑战，这正是PCIe交换机和重定时器的综合功能发挥作用的地方。
三种资源分配模式
系统内扩展（Scale-up）能够实现处理器与加速器之间最高程度的接近，因此适合对延迟敏感的人工智能工作负载。不过，这种模式会受到处理器通道数量、机箱空间、功耗和散热要求，以及服务器能够容纳的设备数量等因素的限制。
跨服务器扩展（Scale-out）则利用以太网或InfiniBand，将性能分配到多个节点。这有助于集群增长，但会增加延迟，并要求软件能够协调节点之间的数据和工作负载。
相比之下，解耦式基础设施将GPU、存储设备或SmartNIC和DPU等特定资源从单台服务器的所有权中分离出来，使其能够通过共享网络提供使用。这可能提高资源利用率，并独立扩展计算能力和端点数量，但也会带来资源竞争、隔离、管理和延迟等问题。
因此，本文并不将其中任何一种模式视为其他模式的全面替代方案。实际决策在于确定哪些资源必须保持本地，哪些资源应跨服务器分配，以及哪些资源值得在多个系统之间共享。
PCIe 7.0带来了什么？
与PCIe 6.x相比，PCIe 7.0将每条通道的原始传输速率提高一倍，达到128 GT/s；在使用x16配置时，可提供最高512 GB/s的双向带宽。这一提升为容纳不断增加的加速器数量和高数据传输密度平台提供了更大空间，同时保持了与更广泛PCIe生态的向后兼容性。
然而，仅有更高的速度并不足以构建可扩展系统。更高的信号速率使通道损耗、反射、串扰、噪声和抖动更难处理。同时，PCIe 5.0和PCIe 6.x仍是当前基础设施中的重要组成部分，因此代际间兼容性在系统设计中仍是一个实际因素。
用于扩展和流量管理的PCIe交换机
PCIe交换机接收事务，确定其目标，然后在上行端口和下行端口之间转发这些事务。借助这种方式，它可以增加连接点数量，支持更加灵活的架构，并为相连设备之间提供直接通信路径。
但端口数量和最高速率并不能单独决定实际性能。当GPU、存储设备和控制流量争用同一带宽时，仲裁机制、缓存、信用管理、超额订阅策略以及避免队头阻塞等因素，都会影响可用性能。此外，每增加一次经过交换机的跳转，都可能增加延迟并形成新的竞争点。
对于芯片设计团队而言，可配置性尤其重要，因为同一个交换机架构可以支持不同的端口布局、上行端口选项、端点数量以及多种流量模式。
用于处理距离和信号质量的重定时器
当资源远离处理器，并通过电路板上更长的走线、连接器、线缆或扩展机箱进行传输时，电气通道会变得更加复杂。重定时器负责恢复时钟和数据，终结一个电气区段，然后将干净的信号重新发送到下一个区段。
这些组件为设计人员分配设备提供了更大灵活性，但并不会使距离变得无限。每个经过重定时的区段都需要进行设计和测试，并考虑延迟、功耗、热量、均衡、诊断，以及处理器、端点、PHY接口、连接器、线缆和固件之间的兼容性。
选择解决方案前应测量什么？
本文建议从代表实际使用情况的工作负载和拓扑结构开始评估，而不是从通用规格清单开始。团队应确定所需的带宽和延迟、进出连接数量、超额订阅程度、流量组合、通道损耗、功耗、可管理性以及互操作性目标。
从这一角度看，PCIe交换机提供可扩展性和流量路由，而重定时器则扩大可用距离并保持信号完整性。本文提到Rambus的PCIe交换机和重定时器控制器解决方案，将其视为用于ASIC和FPGA实现的设计构件；但实际价值并不取决于组件名称，而取决于其与系统工作负载、拓扑结构和电气限制的适配程度。
编辑解读：这里真正发生的变化并不是推出新的标准或产品，而是人工智能基础设施架构的设计决策从追求最高速度，转向平衡接近性、可扩展性、资源利用率和信号质量。基本限制仍然清晰：跳转次数和共享组件越多，管理、竞争和延迟方面的复杂性就越高；此外，由于本文是Rambus赞助的博客文章，其框架带有营销视角，并未提供独立测量结果或供应商之间的比较。