데이터센터에서 인공지능 역량을 높이는 일은 더 이상 프로세서와 가속기의 수에만 달려 있지 않고, 이러한 리소스를 어떻게 분배하고 시스템의 나머지 구성 요소와 연결하는지에 달려 있다. 이 글은 일부 리소스는 프로세서 가까이에 유지하고, 다른 리소스는 여러 서버에 걸쳐 확장하며, 그래픽 처리 장치와 NVMe 스토리지 같은 고가 리소스는 공유 인프라를 통해 공유하는 하이브리드 구상을 제시한다.
PCI Express, 즉 PCIe는 프로세서, 그래픽 처리 장치, 가속기, SmartNIC 또는 DPU, 스토리지 장치를 연결하기 위한 광범위한 하드웨어 및 소프트웨어 생태계를 제공하므로 이러한 구상에서 핵심적인 역할을 한다. 그러나 전송 속도가 높아지고 연결된 장치 수가 늘어나면서 단순히 추가 포트를 제공하는 것 이상의 과제가 발생하며, 여기서 PCIe 스위치와 리타이머의 통합 기능이 부각된다.
리소스 분배의 세 가지 방식
시스템 내부 확장, 즉 Scale-up 방식은 프로세서와 가속기 사이의 거리를 가장 가깝게 유지하므로 지연 시간에 민감한 인공지능 워크로드에 적합하다. 그러나 이 방식은 프로세서 레인 수, 섀시 공간, 전력 및 냉각 요구 사항, 서버가 수용할 수 있는 장치 수의 한계에 부딪힌다.
서버 간 확장, 즉 Scale-out 방식은 Ethernet 또는 InfiniBand를 사용해 여러 노드에 성능을 분산한다. 이를 통해 클러스터를 확장할 수 있지만 지연 시간이 늘어나며, 노드 간 데이터와 워크로드를 조정할 수 있는 소프트웨어가 필요하다.
반면 분리형 인프라는 그래픽 처리 장치, 스토리지, SmartNIC 및 DPU와 같은 특정 리소스를 단일 서버의 소유에서 분리해 공유 패브릭을 통해 사용할 수 있도록 한다. 이를 통해 리소스 활용도를 높이고 컴퓨팅 및 엔드포인트를 독립적으로 확장할 수 있지만, 리소스 경쟁, 격리, 관리, 지연 시간과 관련된 문제가 추가된다.
따라서 이 글은 이러한 방식 중 하나를 다른 방식을 완전히 대체하는 해법으로 제시하지 않는다. 실질적인 결정은 어떤 리소스를 로컬에 유지해야 하는지, 어떤 리소스를 서버 전반에 분산해야 하는지, 어떤 리소스를 여러 시스템 간에 공유하는 것이 비용 측면에서 타당한지를 정하는 것이다.
PCIe 7.0이 추가하는 것은 무엇인가?
PCIe 7.0은 PCIe 6.x와 비교해 레인당 원시 전송률을 두 배로 높여 128 GT/s에 이르게 하며, x16 구성을 사용할 경우 양방향으로 최대 512기가바이트/초의 대역폭을 제공한다. 이러한 증가는 데이터 전송량이 많은 가속기와 플랫폼의 증가하는 수를 수용할 수 있는 여유를 제공하면서도 더 광범위한 PCIe 생태계와의 하위 호환성을 유지한다.
그러나 확장 가능한 시스템을 구축하는 데 더 높은 속도만으로는 충분하지 않다. 신호 속도가 높아지면 채널 손실, 반사, 누화, 잡음, 지터를 처리하기가 더 어려워진다. 또한 PCIe 5.0과 PCIe 6.x는 현재 인프라에서 여전히 중요한 구성 요소이므로 세대 간 호환성은 시스템 설계에서 실질적인 요소가 된다.
확장 및 트래픽 관리를 위한 PCIe 스위치
PCIe 스위치는 트랜잭션을 수신하고 목적지를 결정한 다음 업스트림 및 다운스트림 포트 사이에서 이를 전달한다. 이를 통해 연결 지점 수를 늘리고, 더 유연한 인프라를 지원하며, 연결된 장치 간 직접 통신 경로를 제공할 수 있다.
그러나 포트 수와 최대 속도만으로 실제 성능이 결정되지는 않는다. 그래픽 처리 장치, 스토리지, 제어 트래픽이 동일한 대역폭을 두고 경쟁할 때 중재 메커니즘, 버퍼링, 크레디트 관리, 오버서브스크립션 정책, 헤드 오브 라인 블로킹 방지가 실제 사용 가능한 성능에 영향을 미치는 요소가 된다. 또한 스위치를 통한 추가 홉마다 지연 시간이 늘어나고 새로운 경쟁 지점이 발생할 수 있다.
칩 설계 팀에는 구성 가능성이 특히 중요하다. 하나의 스위치 아키텍처 안에서 서로 다른 포트 구성, 업스트림 포트 옵션, 다양한 엔드포인트 수, 여러 트래픽 패턴을 지원할 수 있기 때문이다.
거리와 신호 품질을 처리하는 리타이머
리소스가 프로세서에서 멀어져 보드 위의 더 긴 경로, 커넥터, 케이블 또는 확장 섀시를 통해 이동하면 전기적 채널은 더욱 어려워진다. 리타이머는 클록과 데이터를 복구하고 전기적 구간을 종단한 다음, 깨끗한 신호를 다음 구간으로 재전송한다.
이러한 구성 요소는 설계자에게 장치 배치의 유연성을 더 많이 제공하지만, 거리를 무제한으로 늘려 주는 것은 아니다. 각각의 리타이밍 구간은 지연 시간, 전력, 발열, 이퀄라이제이션, 진단, 프로세서와 엔드포인트, PHY 인터페이스, 커넥터, 케이블, 펌웨어 간 호환성을 고려해 설계하고 테스트해야 한다.
해법을 선택하기 전에 무엇을 측정해야 하는가?
이 글은 일반적인 사양 목록이 아니라 실제 사용을 대표하는 워크로드와 토폴로지에서 평가를 시작할 것을 권고한다. 팀은 필요한 대역폭과 지연 시간, 인바운드 및 아웃바운드 연결 수, 오버서브스크립션 수준, 트래픽 구성, 채널 손실, 전력 소비, 관리 용이성, 상호 운용성 목표를 정의해야 한다.
이러한 관점에서 PCIe 스위치는 확장성과 트래픽 라우팅을 제공하는 반면, 리타이머는 사용 가능한 거리를 늘리고 신호 무결성을 유지한다. 이 글은 Rambus의 PCIe 스위치 및 리타이머 컨트롤러 솔루션을 ASIC 및 FPGA 구현을 위한 설계 블록으로 언급하지만, 실제 가치는 부품 이름보다는 해당 부품이 워크로드, 토폴로지, 시스템의 전기적 제약에 얼마나 적합한지로 평가된다.
편집부의 해석: 여기서 실제 변화는 새로운 표준이나 제품의 출시가 아니라, AI 아키텍처 설계 결정이 최대 속도에 대한 질문에서 근접성, 확장성, 리소스 활용도, 신호 품질 사이의 균형을 맞추는 문제로 이동했다는 점이다. 핵심 제약은 여전히 분명하다. 홉과 공유 구성 요소가 늘어날수록 관리와 경쟁의 복잡성 및 지연 시간이 증가한다. 또한 이 글은 Rambus가 후원하는 블로그이므로 마케팅 관점에서 프레임워크를 제시하며, 독립적인 측정 결과나 공급업체 간 비교를 제시하지 않는다.