데이터센터는 최대 1메가와트를 소비할 수 있는 랙을 수용하기 위해 인프라를 재설계하고 있다. 이는 에너지 소비가 더욱 지속적이고 집약적으로 변한 인공지능 워크로드의 성장에 따른 것이다. 그러나 이러한 추세가 확장을 위한 최선의 방법에 대한 논쟁을 해결하는 것은 아니다. 초고밀도 랙에 더 많은 처리 장치를 밀어 넣을 것인가, 아니면 더욱 분산된 아키텍처를 통해 컴퓨팅을 재분배할 것인가?
Semiconductor Engineering은 메가와트급 랙으로의 전환이 가속기 수를 늘리는 데 그치지 않고 냉각, 전력 공급, 랙 설계, 네트워크 연결 및 집적회로의 3D 패키징에 근본적인 변화를 요구한다고 본다. 동시에 광학 기술, 특수 목적 칩 및 분산 컴퓨팅은 이 모든 전력을 하나의 공간에 집중해야 할 필요성을 줄일 수 있다.
서버 컨테이너에서 통합 컴퓨팅 시스템으로
Google, Meta 및 Microsoft는 OCP의 Mount Diablo 프로젝트에서 Diablo 프레임워크를 기반으로 메가와트급 랙을 지원하는 표준을 마련하고 있다. 이 협력에는 랙의 기계적 구조, 냉각, 액체 관리, 물 흐름 및 전원과 같은 요소가 포함되며, 각 클라우드 제공업체는 구현에서 자체 경로를 유지한다.
Cadence의 Arif Khan은 랙이 더 이상 여러 서버를 수용하는 수동적 구조물에 불과하지 않다고 지적한다. 컴퓨팅 밀도와 전기 및 신호 연결 수가 증가하고 GPU 모듈의 크기와 전력 소비가 커지면서, 랙은 액체 냉각, 전력 랙, 버스바, 네트워크 스위치 및 시스템 관리를 포함하는 통합 설계 단위가 되었다. 이러한 접근 방식은 Nvidia DGX와 같은 랙 수준 플랫폼에서 나타난다.
Google은 전기차 산업을 위해 개발된 기술과 경험을 활용해 데이터센터 내부에서 ±400볼트의 직류 전력 분배를 제안한다. 분배 전압을 높이면 최대 1메가와트의 전력을 다룰 때 전류와 손실, 케이블 복잡도를 줄이는 데 도움이 된다.
기계적 측면에서는 Open Rack Wide, 즉 ORW 설계가 더 크고 무거우며 전력 밀도가 높은 인공지능 시스템을 수용하도록 Open Compute Project 아키텍처의 역량을 확장한다. ORW의 폭은 ORV3 랙의 약 두 배이며 추가적인 구조 보강이 적용된다. AMD는 Meta가 2025년에 OCP에 제출한 ORW 사양을 기반으로 하는 Helios 아키텍처에서 이 접근 방식을 사용하고 있으며, Nvidia는 보다 전통적인 랙 치수 안에서 랙 수준의 DGX 시스템을 배치한다.
3차원 패키징과 전력 과제
밀도가 높아질수록 3D-IC 설계의 중요성은 커진다. 이 기사는 Synopsys의 Daniel Wilkinson을 인용해 대형 클라우드 서비스 제공업체들이 컴퓨팅 다이를 적층하는 방안을 검토하고 있으며, 인터포저 위의 다이 수를 늘리거나 두 개의 다이를 함께 적층하는 방안 등이 가능하다고 전한다. 그러나 이러한 구조는 기계적 복잡성, 제조 수율 문제 및 장거리 데이터 전송의 어려움을 증가시킨다.
해법은 프로세서의 특성에 따라 달라질 수 있다. Google의 TPU와 같은 일부 설계는 대형 연산 배열에 의존하는 반면, 다른 설계는 GPU 방식으로 더 많은 소형 코어를 향한다. 그 결과 적층 방식과 연결 주소, 기본 IP 요구 사항이 달라진다.
Rambus의 Steven Woo에 따르면 랙의 전력 밀도는 20년 전 약 4킬로와트에서 오늘날 100킬로와트 이상으로 증가했다. 12볼트에서 48볼트로, 나아가 480볼트 또는 800볼트로 전환하면 더 낮은 전류로 동일한 전력을 전달할 수 있어 더 두꺼운 구리 도체의 필요성이 줄어든다.
Infineon Technologies의 Christian Hoefling은 10년 말에는 GPU 한 개당 최대 전류가 1만 암페어에 이를 수 있다고 경고한다. 이는 기존 CPU 시스템의 훨씬 낮은 범위와 비교된다. 전력 손실은 전류의 제곱에 비례하므로 연결 저항이 일정한 상태에서 전류가 두 배가 되면 손실은 크게 증가한다. 따라서 기가와트급 데이터센터는 전력 변환 단계를 줄이고 랙으로의 공급을 단순화하기 위해 고전압 직류로 전력을 분배하는 방향으로 전환할 것으로 예상된다.
더 높은 랙 밀도가 유일한 경로인가?
논의에 참여한 모든 사람이 랙 전력을 높이는 것이 확장을 위한 최선의 경로라고 보는 것은 아니다. Quadric의 Steve Roddy는 더욱 특수화된 칩과 일부 형태의 분산 컴퓨팅으로의 회귀를 결합하면 데이터센터의 전력 밀도를 완화할 수 있다고 본다. 학습 또는 추론에 특화된 칩은 와트당 더 높은 추론 성능을 제공할 수 있으며, 토큰 생성도 중앙집중형 모델과 병행해 수백만 가정과 기업에 분산할 수 있다.
Vishal Chandrasekar에 따르면 Ayar Labs는 메가와트급 랙이 널리 확산되지 않을 것이라는 데 베팅하고 있다. GPU를 서로 가깝게 유지하고 구리에 의존하는 대신 광 연결을 사용해 확장 도메인 내부의 연결 범위를 50만 개 이상의 장치로 확장할 수 있다. 이를 통해 GPU를 랙 전체 행에 분산할 수 있다. 예를 들어 각 랙을 200킬로와트로 유지하고 10개 랙을 광학적으로 연결하면, 2년마다 전력 분배와 바닥의 하중 지지 능력을 전면 재설계하지 않고도 더 높은 전력의 랙 또는 랙들에 필적하는 성능을 대략적으로 달성할 수 있다.
랙 밀도를 낮춘다고 해서 가속기 수를 늘리는 것이 더 나은 성능을 보장하는 것은 아니다. 연결 효율, 메모리 대역폭, 지연 시간, 집단 연산 효율성 및 상호운용성은 수천 개의 GPU가 하나의 응집된 시스템으로 작동하게 하는 데 결정적인 요소다. 여기서 UALink와 같은 개방형 확장 연결 표준의 역할이 부각된다.
에이전트 워크로드가 설계와 일정에 압박을 가하다
장시간 실행되는 에이전트형 인공지능 워크로드는 설계자들이 평균 소비량에 기반한 가정을 버리고 간헐적인 피크를 처리하도록 만든다. Siemens EDA의 Sathishkumar Balasubramanian은 이러한 워크로드 중 일부가 거의 항상 피크 전력에 가까운 작동을 가정해야 하며, 전력과 열을 정밀하게 분석해야 한다고 말한다. 또한 불규칙한 사용과 때로는 24시간 지속되는 사용은 전체 전력 및 냉각 시스템을 이 시나리오에 맞춰 설계하도록 요구한다.
빈번한 컨텍스트 전환과 모델을 저장하고 일시 중지하며 복원해야 하는 요구 사항은 시스템 속도의 중요성을 더욱 높인다. 반면 다이 적층 구조와 고밀도 변환은 검증 및 구현 과정에서 열 지형과 물리적 영향을 파악하는 일을 더욱 어렵게 만든다.
이는 시장 출시 기간이 줄어드는 상황과 동시에 발생한다. Synopsys의 Manmeet Walia는 일부 제품이 생산으로 전환할 수 있는 기간이 1년에 불과한 반면, 사양은 1.5년에서 2년에 걸쳐 승인된다고 말한다. 또한 HBM 및 메모리와의 공동 패키징과 같은 새로운 기술을 위한 테스트 칩 개발은 개발 주기의 수개월을 소모한다. 가속기 프로그램의 비용은 10억 달러에 이를 수 있으므로 검증되지 않았거나 승인되지 않은 IP를 사용하는 것은 큰 위험이 된다.
모두에게 하나의 아키텍처가 아니라 해법의 세분화
이 기사는 모든 추론 워크로드가 메가와트급 랙에서 실행되지는 않을 가능성을 제기한다. 중간 규모 모델이 추론 워크로드의 대부분을 차지할 수 있는 반면, 학습 작업과 더 큰 모델에는 다른 아키텍처가 필요할 수 있다. 또한 클라우드 서비스 제공업체는 Nvidia 또는 AMD 제품과 자체적으로 개발한 아키텍처를 포함하는 여러 플랫폼에 의존할 수 있다.
Wilkinson은 기관들이 반드시 3톤에 달하고 500킬로와트를 소비하는 랙을 현지 기술실 안에 설치하지는 않을 것이라고 지적합니다. 이는 현지 시설의 역량 안에서 작동하고 대규모 언어 모델에 국한되지 않는 워크로드를 처리하는 솔루션의 여지를 엽니다. 이 글이 제시하는 결론은 메가와트급 랙이 개별 랙의 문제가 아니라, 전력망에서 칩으로, 칩에서 냉각기로, 한 가속기에서 다른 가속기로 이어지는 시스템 통합의 문제라는 것입니다.