거대 언어 모델(LLM) 추론 작업은 방대한 모델과 증가하는 배치 크기를 수용하기 위해 막대한 메모리 용량이 필요하다는 점점 더 커지는 도전에 직면해 있습니다. 고대역폭 메모리(HBM)는 뛰어난 속도를 제공하지만, 용량이 제한적이고 비용이 많이 듭니다. 이러한 배경에서 고대역폭 플래시(HBF)를 대안으로 사용하는 아이디어가 부상했으나, 높은 지연 시간이라는 장벽에 부딪혔습니다.
어려운 절충안: 용량 대 속도
HBF 기술은 HBM의 DRAM 칩을 NAND 플래시 칩으로 대체하여 동일한 읽기 대역폭에서 16배 더 큰 저장 용량을 제공합니다. 그러나 이러한 발전에는 기술적 비용이 따릅니다. HBF의 읽기 지연 시간은 약 20마이크로초에 달하며, 이는 기존 HBM 지연 시간의 20배에 해당합니다. 이러한 차이로 인해 HBF에서 직접 데이터를 가져올 경우 추론 작업 속도가 최대 12.8배 느려집니다.
SlipStream 기술은 이 격차를 어떻게 해결하는가?
NVIDIA와 스탠퍼드 대학교, 조지아 공과대학교의 공동 연구팀은 "SlipStream"이라는 연구 논문을 발표했습니다. 이 기술은 소프트웨어-하드웨어 공동 설계를 기반으로 데이터 사전 인출(Prefetching) 과정을 "생산자-소비자 파이프라인(Producer-consumer pipeline)" 시스템으로 전환합니다.
작동 메커니즘은 두 가지 수준에서 이루어집니다:
- 소프트웨어 수준: 이 기술은 언어 모델 커널에서 반복되는 가중치 페이지(Weight-pages) 요청 순서를 분석한 다음, 비차단(Non-blocking) STAGE 명령어를 사용하여 이 순서를 다시 실행하는 "스테이징 워프(Staging warp)" 단계를 삽입합니다.
- 하드웨어 수준: "스테이징 워프"는 데이터 생산자 역할을 하고, "워크 워프(Work warps)"는 소비자 역할을 합니다. 여기서 핵심적인 기술적 독창성은 기존 캐시 라인 대신 4KB 크기의 페이지를 추적하여 SRAM 메모리 소비를 크게 줄인다는 점입니다.
실제 성능은 어떻게 변화하는가?
16GB에서 800GB에 이르는 7개의 밀집 모델을 대상으로 수행된 테스트에서 SlipStream 기술은 H3와 같은 기존 설계보다 압도적인 우위를 보였습니다. H3 설계는 이상적인 성능의 43.1%만을 달성하기 위해 320MB에 달하는 거대한 캐시 메모리가 필요했던 반면, SlipStream은 단 40MB의 캐시 메모리만으로 이상적인 성능의 92.4%를 달성했습니다.
더 중요한 점은 SlipStream에서 요구되는 메모리 크기가 HBF 지연 시간이나 작업 부하 유형에 의존하지 않아 유연하고 확장 가능한 솔루션이라는 것입니다. 또한 이 기술은 "전문가 혼합(Mixture-of-Experts, MoE)" 모델 지원에서도 이상적인 성능의 91.2%를 달성하며 효율성을 입증했습니다. 이는 더 낮은 비용과 훨씬 더 큰 저장 용량으로 가장 거대한 인공지능 모델을 실행할 수 있는 새로운 지평을 열어줍니다.