텐서 코어의 성능 제한 해제
일련의 오픈 소스 프로젝트를 통해 NVIDIA GeForce 그래픽 카드(RTX 20, 30, 40 시리즈)에 의도적인 소프트웨어 제한이 존재함이 밝혀졌습니다. 이 제한으로 인해 FP32 정밀도 누적(accumulation)에 의존하는 특정 계산을 수행할 때 텐서 코어가 최대 속도의 절반으로 작동합니다. NVIDIA가 게이밍 카드를 전문 워크스테이션 카드와 차별화하기 위해 소프트웨어적으로 부과한 이 제한은 AI 모델 학습 및 추론 작업에서 카드의 효율성을 저하시킵니다.
수정 사항은 어떻게 작동하는가?
이 이니셔티브는 Zagitta라는 이름의 GitHub 사용자가 gpu-unlock이라는 이름의 리눅스 커널 모듈(Linux kernel module)을 개발하면서 시작되었습니다. 이 도구는 공식 NVIDIA 드라이버가 로드되기 전에 작동하며, 카드의 속도 선택 레지스터를 다시 작성하고 재설정합니다. 수정이 커널 수준에서 이루어지기 때문에 VBIOS를 수정하거나 드라이버에 영구적인 변경을 가할 필요가 없습니다.
RTX 3090 Ti 카드에 대한 테스트 결과, 행렬 처리 성능에서 눈에 띄는 향상이 나타났습니다. BF16 처리 속도는 87.5에서 157.4 TFLOPS로 증가했으며, TF32 성능은 거의 두 배가 되었습니다. 또한 이러한 솔루션은 RTX 40 시리즈를 위한 gpu-unlock-ada 및 RTX 20 시리즈를 위한 turing-unlock과 같이 다른 세대에도 적용되었습니다.
사용자에게 실질적으로 무엇이 변하는가?
- 성능 향상: 사용자는 주로 이미지 생성(Image Generation) 및 모델 미세 조정(Fine-tuning) 작업에서 혜택을 입게 되는데, 이러한 작업은 FP32-accumulate 계산에 크게 의존하기 때문입니다.
- 게임에서의 제한적인 이점: 게이머들은 성능 차이를 느끼지 못할 것입니다. 게임은 텐서 코어에 대한 이러한 유형의 집중적인 계산 작업에 의존하지 않기 때문입니다.
- 채팅 애플리케이션: 텍스트 생성 속도(Token speed)는 큰 개선을 보이지 않는데, 이는 주로 연산 능력보다는 메모리 대역폭(Memory Bandwidth)에 의해 제한되기 때문입니다.
중요 고려 사항 및 위험 요소
개발자들은 카드의 열 및 전력 보호 메커니즘이 여전히 유효하다고 언급하지만, 텐서 코어를 최대 출력으로 작동시키면 전력 소비가 높아져 장기적인 하드웨어 안정성에 대한 우려가 제기될 수 있다고 경고합니다. 또한 현재 지원은 거의 전적으로 리눅스 환경에 국한되어 있으며, 윈도우에서의 실험은 매우 제한적입니다.