인공지능 데이터센터 아키텍처는 중앙처리장치(CPUs), 그래픽 처리장치(GPUs), 신경망 처리장치(NPUs), 전용 가속기를 고대역폭 메모리와 구리 및 광 연결 기술과 함께 결합하는 이기종 컴퓨팅 클러스터로 향하고 있다. 이러한 전환은 모델 학습과 추론 작업의 성격이 서로 다르다는 점을 반영하며, 특히 병렬 연산, 상태 관리, 의사 결정 및 도구 호출 실행을 조합해야 하는 에이전트형 인공지능 애플리케이션이 증가하면서 더욱 두드러지고 있다.
이 내용은 Semiconductor Engineering이 Arm의 Satadal Bhattacharjee, Axiomise의 Ashish Darbari, Cadence의 Moshiko Emmer, Expedera의 Sharad Chole, Siemens EDA의 Cameron Brunner, Synopsys의 Sumit Vishwakarma와 진행한 토론에서 나왔다. 이 자료는 인공지능 데이터센터 아키텍처의 변화를 다루는 토론 시리즈의 세 번째이자 마지막 부분이다.
강력한 서버에서 분산 시스템으로
다중 프로세서 클러스터는 엔지니어링 문제의 성격 자체를 바꾼다. 처리, 메모리, 입출력 간의 균형을 맞추는 단일 서버를 설계하는 대신, 성능은 작업 부하의 분할, 통신 패턴, 데이터 전송과 동기화 작업을 효율적으로 수행하는 연결망의 능력과 연관된다.
참가자들은 Tensor parallel, data parallel, context parallel, pipeline parallel과 같은 다양한 병렬화 방식이 서로 다른 형태의 네트워크 토폴로지를 필요로 한다고 설명했다. 파이프라인 병렬화는 연속적인 단계를 연결하는 반면, 텐서 병렬화는 광범위한 집계 작업을 수행한 뒤 결과를 다시 브로드캐스트해야 한다. 따라서 연결망의 선택은 클러스터와 분리된 구성 요소가 아니라 클러스터를 정의하는 일부가 된다.
모델이 커지면서 메모리의 중요성도 커지고 있다. 고정된 모델 파라미터 외에도 처리 중인 요청 수와 시스템이 유지하는 정보의 양에 따라 달라지는 가변 컨텍스트가 존재한다. 이에 따라 HBM 메모리 비용과 사용 방식은 GPU의 효율성에 영향을 미치는 요소로 부각되고 있으며, 특히 초당 처리되는 요청 수를 늘리려는 데이터센터에서 더욱 중요하다.
전문 클러스터 간 추론 분해
Satadal Bhattacharjee는 중요한 추세 중 하나로 추론 파이프라인을 별도의 단계로 분해하는 방식을 꼽았다. 프로세스는 프롬프트를 처리하고 그 요구 사항을 파악하는 prefill 단계에서 시작하며, 이 단계는 연산 집약적이다. 그다음 응답을 생성하는 decode 단계가 이어지고, 이후 도구 호출이나 특정 작업 실행과 같은 에이전트 작업 실행 단계가 진행된다.
이 모델에서는 prefill 단계에 하드웨어와 소프트웨어 클러스터를 할당하고, decode 단계에는 다른 클러스터를, 에이전트 작업 실행에는 별도의 컴퓨팅 클러스터를 할당한 뒤 이들 클러스터를 서로 연결할 수 있다. 토론에 따르면 이러한 연결에는 대체로 Ethernet이 사용된다. 이를 통해 하나의 GPU로 모든 단계를 실행하는 대신 각 하드웨어 유형을 가장 적합한 작업에 사용할 수 있다.
Bhattacharjee는 Nvidia가 prefill 클러스터에 Groq 3 LPU를 사용한다고 발표한 것을 추론에 한 가지 이상의 프로세서 유형이 필요할 수 있음을 보여주는 사례로 언급했다. 또한 DigitalOcean이 AMD와 Nvidia의 하드웨어를 포함하는 이기종 클러스터를 사용하도록 최적화된 5계층 추론 아키텍처를 배포한다고 발표했으며, 향후 새로운 하드웨어를 추가할 수 있다고 설명했다.
소프트웨어는 조정의 연결 고리
CPU, GPU, NPU 및 가속기를 하나의 시스템에 모으는 것만으로는 충분하지 않다. 소프트웨어는 각 구성 요소의 특성을 파악하고, 각 단계를 어디에서 실행할지 결정하며, 데이터 전송, 스케줄링, 대기 및 API 접근 지점을 조정해야 한다. CPU는 상태 관리, 명령 라우팅 및 도구 호출을 담당하고, 가속기는 추론 및 추론 과정과 관련된 행렬 곱셈을 비롯한 집약적인 연산을 담당할 수 있다.
가상 머신은 더 높은 수준에서 클러스터를 추상화하는 데 사용되지만, 참가자들은 Docker를 포함한 컨테이너 기반 환경이 GPU 드라이버 구성 요소와 도구 체인을 재현 가능한 방식으로 배포하는 지배적인 방법이라고 설명했다. 컨테이너 계층 위에는 실행, 조정, 스케줄링, 대기열 관리, 모델 배포 및 API 서비스 제공을 담당하는 전문 구성 요소가 자리한다.
참가자들은 통합 소프트웨어 생태계를 보유한 것이 Nvidia의 강점 중 하나라고 평가했으며, Nvidia는 20년 이상 소프트웨어에 투자해 왔다. 그러나 여러 기업의 하드웨어로 전환하려면 이러한 다양성을 관리할 수 있는 조정 계층이 필요하다. Gimlet Labs와 Together AI 같은 기업이 prefill, decode 및 실행 클러스터의 운영을 최적화하는 기능을 포함해 이러한 계층을 제공하기 위해 활동하고 있는 기업으로 언급됐다.
연결과 전력이 확장성을 결정한다
클러스터 간 연결 방식으로는 Ethernet, InfiniBand, 그리고 Hewlett Packard Enterprise의 Ethernet 기반 고속 네트워킹 기술인 Slingshot이 있다. 토론에 따르면 Ethernet은 더 폭넓은 표준을 제공하는 반면, 전용 기술은 특정 공급업체 생태계와의 연계라는 대가로 일부 상황에서 더 나은 성능을 제공할 수 있다.
광 연결에 대한 관심도 커지고 있다. Google은 광 연결을 적용한 TPU를 사용하고 있으며, 패키지 내부에 광학 장치를 통합하는 기술(co-packaged optics)도 연구되고 있다. 포토닉스의 매력은 전기 연결과 비교해 저항과 전력 소모를 줄일 수 있다는 점에 있으며, 이는 이미 열과 냉각 비용 문제에 직면한 클러스터에서 중요하다.
패키지 수준에서는 여러 칩과 HBM 메모리 및 다양한 구성 요소를 통합하면서 열적, 기계적, 전기적 영향이 복잡해진다. 열, 휨, 일렉트로마이그레이션 문제 및 신호 무결성이 노드와 전체 클러스터의 성능에 영향을 미칠 수 있다. 따라서 모든 수준에 맞는 연결 계층이 필요하며, 패키지 내부 다이 간 연결부터 클러스터 네트워크에 이르기까지 모든 곳에 적용되는 단일 범용 연결 기술이 필요한 것은 아니다.
이 추세가 중요한 이유
Bhattacharjee가 제시한 결론은 전력이 첫 번째 문제이며, 그다음은 토큰 효율성이라는 것이다. 이기종 클러스터는 각 단계의 특성에 맞게 하드웨어를 조정함으로써 토큰 비용을 낮출 수 있는 경로를 제공한다. 그러나 이를 실현하려면 성숙한 조정 소프트웨어와 데이터 위치, 대역폭, 열 상태 및 각 엔진의 전문화 정도를 명확히 측정하는 체계가 필요하다. 또한 이 생태계는 대체로 여러 기업의 구성 요소에 의존하기 때문에, 대규모에서 효율적으로 작동하는 시스템을 구축하는 일은 단순히 GPU를 다른 가속기로 교체하는 작업이 아니라 여전히 열려 있는 엔지니어링 과제다.