가이드
AI 인프라 구성 요소를 이해하고 확장 옵션을 평가하는 방법
전력과 칩, 메모리부터 네트워크와 스토리지까지 AI 인프라의 핵심 계층을 이해하고, 서버 내부·서버 간·분리형 아키텍처의 확장을 평가하기 위한 개념적 가이드입니다. 제공된 근거를 바탕으로 하며 독립적인 실무 테스트는 포함하지 않습니다.
AI 시스템에는 컴퓨팅, 메모리, 인터커넥트, 스토리지, 전력, 냉각, 소프트웨어가 서로 연결된 생태계가 필요합니다. 따라서 인프라를 설계할 때 더 빠른 프로세서나 가속기 하나만 선택하는 것으로는 충분하지 않습니다.
1. 워크로드의 특성을 파악하세요
먼저 인프라가 모델 학습, 추론 또는 둘 모두를 지원할지 정하세요. 근거에 따르면 지속적인 추론 워크로드, 대규모 모델, 엣지 애플리케이션에는 서로 다른 컴퓨팅, 메모리, 인터커넥트 옵션이 필요할 수 있습니다.
- 학습: 많은 수의 처리 장치 간 조정이 필요하며, 구성 요소 간 통신이 실행 시간에서 큰 비중을 차지할 수 있습니다.
- 추론: 지연 시간, 메모리 용량 또는 모델 실행 효율에 중점을 둘 수 있습니다.
- 엣지 워크로드: 지속적인 추론이나 데이터 소스와 가까운 곳에서 AI를 실행하기 위한 전용 프로세서에 의존할 수 있습니다.
2. 컴퓨팅과 메모리를 함께 평가하세요
처리 장치의 수만 보지 마세요. 고용량 서버 메모리 모듈과 TSV 같은 적층 및 연결 기술이 등장하면서 메모리와 그 용량, 통합 방식은 인프라 설계의 일부가 되었습니다.
- 모델과 데이터에 필요한 메모리 용량을 정하세요.
- 메모리가 프로세서에 가까이 있는지, 아니면 공유 패브릭을 통해 접근 가능한지 확인하세요.
- 메모리 부족이나 데이터 전송 속도 저하가 처리 성능 활용도를 제한할 수 있음을 고려하세요.
3. 리소스 분배 방식을 선택하세요
근거는 세 가지 주요 방식을 제시하며, 어느 하나도 보편적인 해결책으로 제시하지 않습니다.
- 시스템 내부 확장: 프로세서와 가속기를 서버 내부에서 가깝게 유지합니다. 지연 시간에 민감한 워크로드에 적합하지만, 프로세서 레인 수, 섀시 공간, 전력, 냉각의 영향을 받습니다.
- 서버 간 확장: Ethernet 또는 InfiniBand를 사용해 여러 노드에 성능을 분산합니다. 다만 지연 시간이 추가되고 데이터와 워크로드를 조정하는 소프트웨어가 필요합니다.
- 분리형 아키텍처: GPU, 스토리지, SmartNIC 및 DPU와 같은 리소스를 공유 패브릭을 통해 사용할 수 있게 합니다. 리소스 활용도를 높일 수 있지만 경쟁, 격리, 관리 측면의 과제가 추가됩니다.
4. 인터커넥트 경로를 설계하세요
PCIe는 프로세서, 그래픽 처리 장치, 가속기, SmartNIC 또는 DPU, 스토리지를 연결하는 데 핵심적인 역할을 합니다. 근거에 따르면 PCIe 스위치는 연결 지점 수를 확장하고 포트 간 트랜잭션을 전달합니다.
- 인바운드 및 아웃바운드 연결 수를 정하세요.
- 필요한 대역폭과 장치 간 오버서브스크립션 수준을 계산하세요.
- 경쟁과 헤드 오브 라인 블로킹을 줄이기 위해 중재, 버퍼링, 크레딧 관리 메커니즘을 확인하세요.
- PCIe 세대 간 호환성을 고려하세요. 자료에 따르면 PCIe 5.0과 PCIe 6.x는 현재 인프라에서 계속 사용되며, PCIe 7.0은 레인당 최대 128 GT/s의 원시 전송 속도를 제공합니다.
5. 거리와 신호 품질을 처리하세요
더 긴 경로, 커넥터 또는 케이블을 통해 리소스를 분산하면 채널 손실, 반사, 간섭, 지터 문제가 커집니다. 리타이머는 클록과 데이터를 복구하고 전기적 세그먼트를 종단한 뒤 신호를 다시 전송합니다.
- 채널 손실, 경로 길이, 커넥터를 평가하세요.
- 각 리타이밍 세그먼트가 지연 시간, 전력, 발열에 미치는 영향을 계산하세요.
- 프로세서, 엔드포인트, PHY 인터페이스, 커넥터, 케이블, 펌웨어 간 호환성을 확인하세요.
6. 인프라를 전력·냉각·입지와 연결하세요
근거는 확장에 칩 이상의 요소가 필요하며, 전력, 데이터센터, 냉각, 공급망에도 의존한다고 설명합니다. 제시된 옵션에는 대규모 데이터센터와 다양한 전원에 연결할 수 있는 이동식 모듈형 장치가 포함되지만, 모듈형 장치가 비용과 확장 속도에 미치는 영향은 자료에 따르면 실무 테스트가 필요합니다.
- 사이트에서 이용 가능한 전력 및 냉각 용량을 정하세요.
- 데이터센터 건설 제약과 지역사회의 수용 여부를 확인하세요.
- 사이트에 대규모 고정형 인프라가 필요한지, 이동식 장치가 필요한지 평가하되 어느 한쪽이 우월하다고 가정하지 마세요.
7. 시스템 수준에서 성능을 평가하세요
일반적인 사양 목록만이 아니라 실제 사용을 대표하는 워크로드와 토폴로지를 사용하세요. 근거는 대역폭, 지연 시간, 채널 손실, 전력 소비, 관리 편의성, 상호운용성을 측정할 것을 권고합니다.
- 통신 시간을 계산 시간과 비교하세요.
- GPU 또는 스토리지 리소스 공유 시 발생하는 경쟁 지점을 관찰하세요.
- 노드와 장치 수를 늘렸을 때의 확장성을 테스트하세요.
- 시뮬레이션 결과와 실제 운영 환경에서의 독립적인 측정 결과를 구분하세요. Huawei가 발표한 100,000개 NPU 구성의 결과는 시뮬레이션 결과이며, 자료에는 워크로드나 테스트 조건에 관한 충분한 세부 정보가 공개되어 있지 않습니다.
8. 공급망 위험을 검토하세요
근거에 따르면 메모리, 패키징, 전력, 소재, 제조 장비가 병목 지점이 될 수 있습니다. 또한 첨단 노드 설계 비용은 높으며, 자료는 2nm 기술로 칩을 설계하는 비용을 약 7억 2,500만 달러, 28nm에서는 4,800만 달러로 추산했습니다.
- 가속기, 메모리, 인터커넥트 구성 요소의 공급 가능성을 확인하세요.
- 발표된 계획과 실제 생산 능력을 구분하세요.
- 자금 조달, 기업가치 평가 또는 상업적 발표만으로 성능이나 신뢰성을 입증할 수 있다고 보지 마세요.
실무 요약
워크로드, 토폴로지, 전기적 제약을 중심으로 인프라 결정을 내린 다음, 근접성·확장성·리소스 활용도 사이의 균형을 맞추세요. 시스템 내부 확장은 지연 시간에 민감한 워크로드에 적합할 수 있고, 서버 간 확장은 더 큰 클러스터에 적합할 수 있으며, 분리형 아키텍처는 선택적인 리소스 공유가 정당화될 때 유용할 수 있습니다. 최고 속도나 포트 수만으로는 설계의 적합성을 판단할 수 없습니다.