데이터센터의 AI 워크로드용 네트워크 구조는 클러스터가 단일 랙의 한계를 넘어서면서 변화하고 있다. 이에 따라 광 링크의 역할이 확대되고, 구리와 scale-up 작업을 연결하고 광섬유와 scale-out 작업을 연결하던 전통적인 규칙은 약화되고 있다. Semiconductor Engineering이 2026년 8월 13일 게재한 기사에 따르면, 랙 내부의 데이터 전송률 상승으로 구리는 손실, 거리 및 전력 소비 측면에서 한계에 가까워지고 있다. 반면 빛은 높은 데이터 전송률에 더 적합한 경로를 제공할 수 있지만, 전력 및 신뢰성 요구사항을 조정해야 한다.
이러한 변화가 중요한 이유는 지연 시간이 그래픽 처리 장치의 성능에 미치는 영향 때문이다. Omnitron의 최고경영자이자 공동 창립자인 에릭 아길라르(Eric Aguilar)는 여러 보고서에 따르면 GPU 효율이 작업을 수행하는 대신 데이터를 기다리기 때문에 약 25%에 이를 수 있다고 말했다. 따라서 연결 매체의 선택은 연결 거리뿐 아니라 프로세서를 계속 작업 상태로 유지하고 지연 시간과 낭비되는 전력을 줄이는 네트워크의 능력과도 관련된다.
랙 내부의 scale-up에서 더 넓은 범위로
scale-up은 일반적으로 메모리 의미론에 따른 메모리 접근을 가능하게 하면서 구리를 사용해 단일 랙 내부에서 연결하는 것으로 정의되었다. 그러나 컴퓨팅 클러스터가 인접한 랙에 있는 서버까지 확장되면서 이러한 정의는 덜 정확해졌다. 이 경우 거리가 증가하며 구리가 더 이상 최선의 선택이 아닐 수 있다.
Ayar Labs의 제품 관리 책임자인 비샬 찬드라세카르(Vishal Chandrasekar)는 랙 내부에서는 구리가 유력하지만, 인접한 랙을 넘어설 때는 광 링크가 예상되는 선택지가 된다고 말한다. 그의 추정에 따르면 전송 속도가 200기가비트일 때 구리는 최대 5미터 거리, 한계까지 밀어붙이면 7미터 거리까지 적합할 수 있다. 반면 10미터 이상에 이르면 광 링크가 필요해진다.
그렇다고 모든 scale-up 애플리케이션에서 구리가 사라지는 것은 아니다. 오히려 scale-up을 정의하는 가장 안정적인 요소는 시스템이 단일 랙 안에 있는지 또는 어떤 물리적 매체를 사용하는지가 아니라 메모리 의미론의 사용이 될 수 있다. Synopsys에서 인터페이스용 IP 사업부의 제품 관리 책임자를 맡고 있는 브리앙크 쇼클라(Brianc Shukla)는 소프트웨어적 정의가 단일 운영체제 영역과 단일 메모리의 존재와 관련된다고 설명했다. 즉 프로세서는 해당 메모리의 위치와 관계없이 메모리 위치에 기록할 수 있다.
scale-in이라는 용어의 등장
scale-up, scale-out, scale-across와 함께 scale-in이라는 새로운 용어가 등장했다. 찬드라세카르에 따르면 이 용어는 기사 발표 전 3개월 동안 사용되기 시작했으며, 하나의 서버 섀시 안에 머무르는 GPU에서 나오는 대역폭의 양을 가리킨다.
- Scale-in: 단일 서버 또는 단일 보드 내부 프로세서 간 연결.
- Scale-up: 공유 메모리 범위 내의 연결로, 전통적으로 랙 내부 및 구리와 연결되어 왔다.
- Scale-out: 랙 간 연결로, Ethernet RDMA 의미론을 사용하며 광 링크에 대한 의존도가 높아지고 있다.
- Scale-across: 광섬유를 통한 서로 다른 데이터센터 또는 캠퍼스 간 연결.
UALink 표준은 scale-up 환경에서 모든 가속기가 다른 가속기에서 한 홉 거리에 있어야 한다는 기본적인 기대를 유지한다. 쇼클라에 따르면 UALink 네트워크는 scale-up 범위가 하나 이상의 랙으로 확장되더라도 가속기 간 연결이 하나의 스위치를 통해 이루어지도록 설계되었다. 이 스위치는 랙 구조 내 여러 위치, 예를 들어 랙 상단이나 중앙에 배치할 수 있지만, 원칙은 양 끝단 사이의 데이터 트래픽을 한 홉 안에 유지하는 것이다.
토폴로지와 광 회선 교환
scale-up 범위가 확대되면 매체 유형만으로는 성능을 결정하기에 충분하지 않다. 가속기, 스위치 및 서버를 연결하는 네트워크 토폴로지가 중요한 요인이 되기 때문이다. 가장 일반적인 설계 중 하나는 Clos 또는 leaf-and-spine 구조로, 서버 간 짧은 경로를 제공한다. 그러나 기사에 따르면 Google은 자체 AI 네트워크에서 torus 네트워크를 사용한다. 이 네트워크에서는 TPU가 세 방향으로 인접한 장치와 연결되어 설계가 systolic 수축 구조와 유사한 특성을 갖는다.
torus 네트워크는 일반적으로 두 지점 사이를 연결하기 위해 가변적인 홉 수를 필요로 하며, 기사에 제시된 경로는 leaf-and-spine 구조의 한 홉과 비교해 최대 네 홉에 이를 수 있다. 패킷 교환을 사용할 경우 각 스위치 또는 라우터에서 패킷 정보를 검사해야 한다. 광 기술은 패킷을 직접 처리하지 않으므로 각 노드에서 신호를 광 신호에서 전기 신호로 변환해 다음 홉을 결정한 뒤 다시 광 신호로 변환한다. 이러한 반복적인 변환은 지연 시간과 전력 소비를 증가시킨다.
이 때문에 회선 교환 기술이 다시 논의의 중심으로 돌아오고 있다. 회선 교환은 각 노드에서 패킷을 처리하는 대신 소스에서 목적지까지 전체 경로를 열고 하나의 흐름에 할당한다. Google은 torus 구성에서 광 회선 교환 네트워크를 적용했으며, 다른 기관들은 서로 다른 토폴로지와 함께 OCS 네트워크를 사용하는 방안을 검토하고 있다. 이는 AI 클러스터 확장이 단순히 구리를 빛으로 대체하는 데 그치지 않고, 경로 구성 방식, 홉 수 및 데이터 전달 메커니즘을 재검토하는 작업도 포함한다는 점을 보여준다.