인공지능 인프라를 둘러싼 경쟁의 성격이 변하고 있다. 수년 동안 Nvidia의 우위는 주로 가장 앞선 GPU를 보유하는 데서 비롯됐지만, 이 분석은 무게중심이 프로세서를 둘러싼 요소들, 즉 메모리 관리, 데이터 라우팅, 스토리지, 네트워크, 시스템 구성요소 간 작업 조정으로 점차 이동하고 있다고 지적한다. 인공지능 워크로드가 기가와트 규모로 확대되면서 필요한 효율을 달성하기 위해 처리 사이클 수를 늘리는 것만으로는 더 이상 충분하지 않다.
이러한 분석은 Amazon과 Google 같은 대형 클라우드 인프라 기업들이 자체 칩을 개발하기 시작한 시점에 나왔다. 이는 Nvidia가 첨단 인공지능 하드웨어를 확보할 수 있는 유일한 선택지라는 인식을 약화시켰다. 특히 2023년 초부터 2025년 중반까지 회사의 시가총액이 10배 증가한 뒤, GPU 경쟁에 대한 우려 속에서 이듬해 주가 움직임이 더욱 완만해지면서 Nvidia의 우위가 얼마나 지속될 수 있는지를 둘러싼 의문이 제기됐다.
프로세서에서 랙 시스템으로
이 글에 따르면 Nvidia는 현재 Rubin GPU를 Vera CPU, 추론 가속기 Groq 3 LPX, 그리고 스토리지와 네트워크 전용 랙을 비롯한 여러 다른 장치와 결합하는 Vera Rubin 아키텍처를 제시하고 있다. 이러한 구성요소들은 반드시 토큰을 직접 처리하는 데 초점을 맞추는 것이 아니라, 데이터가 적절한 속도와 시점에 GPU에 도달하도록 보장하는 데 초점을 둔다.
GPU를 엔진에 비유한다면, 나머지 시스템 구성요소는 엔진의 힘을 효율적으로 활용하도록 하는 자동차의 기능을 담당한다. 데이터센터의 역량이 커질수록 메모리의 필요성도 증가하지만, 병목 없이 메모리에서 프로세서로 데이터를 전달하는 일은 독립적인 과제가 됐다. 인프라 운영자들이 와트당 생성할 수 있는 토큰 수를 줄이려는 상황에서 이 과제의 중요성은 더욱 커지고 있다.
데이터 라우팅에서 Vera CPU의 역할
Nvidia의 스토리지 기술 담당 부사장 Jason Hardy는 단일 서버나 컴퓨팅 플랫폼에 장착할 수 있는 메모리의 양이 제한적이기 때문에 Vera가 중요하다고 말했다. 분석이 그의 발언을 인용해 전한 바에 따르면, Vera CPU가 작업을 가속할 수 있게 되면서 작업 성능이 최대 3배 향상됐다. 이를 통해 데이터 전송 병목으로 성능이 저하되는 대신 플래시 스토리지 장치를 잠재력만큼 활용할 수 있었다.
여기서 실질적인 의미는 데이터센터의 성능이 단일 GPU의 사양만으로 결정되지 않는다는 것이다. 빠른 프로세서도 데이터가 적시에 도달하지 않거나 메모리, 스토리지, 네트워크가 작업 흐름을 따라가지 못하면 그 잠재력을 온전히 발휘하지 못할 수 있다. 따라서 Nvidia는 개별 칩 하나가 아니라 통합 시스템을 판매하려고 한다.
OpenAI의 다른 해법
데이터 이동 문제를 해결하려는 시도는 Nvidia에만 국한되지 않는다. OpenAI가 Jalapeño 칩을 개발했을 때는 구성요소 사이에서 이동해야 하는 데이터의 양을 줄이는 것이 설계의 핵심이었다. 회사는 칩의 넓은 면적 덕분에 전체 워크로드를 하나의 연결된 시스템 안에 유지할 수 있으며, 이를 통해 데이터 이동과 통신 지연을 줄이고 처음부터 끝까지 요청을 빠르고 효율적으로 유지하는 데 도움이 된다고 밝혔다.
두 방식은 서로 다르다. Nvidia의 시스템은 여러 전문 구성요소를 통해 데이터 흐름을 효율적으로 관리하려는 반면, OpenAI는 워크로드를 하나의 칩 또는 통합 시스템 안에 유지함으로써 데이터 이동 자체를 줄이려 한다. 그러나 목표로 하는 결과는 동일하다. 처리 사이클이나 칩을 단순히 추가하는 데만 의존하지 않고 효율성을 개선하는 것이다.
이러한 전환이 중요한 이유
여기서 인공지능 경쟁의 새로운 계층이 나타난다. 경쟁력 있는 GPU를 만드는 것만으로는 더 이상 충분하지 않을 수 있다. 기업은 전체 시스템이 효율적으로 작동하도록 만들어야 하기 때문이다. 이에 따라 칩 제조업체와 클라우드 서비스 운영자는 원시 처리 성능뿐 아니라 랙 설계, 메모리 조정, 스토리지와 네트워크 관리에서도 경쟁할 수 있게 된다.
certi.news의 분석: 실제로 변한 것은 인공지능 데이터센터에서 성능을 정의하는 방식이다. 기준은 “칩이 얼마나 빠른가?”라는 질문에서 더 광범위한 질문, 즉 “시스템이 적절한 데이터로 칩을 계속 가동시키는 데 얼마나 효율적인가?”로 이동하고 있다. 이는 Nvidia가 다른 인프라와 분리하기 어려운 계층으로 강점을 확장할 기회를 제공하지만, 경쟁을 확정적으로 끝내는 것은 아니다. Nvidia는 GPU와 시스템 관리 및 조정 분야에서 경쟁자들과 맞서야 하며, 출처는 Nvidia 시스템과 경쟁사 솔루션 간의 포괄적인 비교 수치를 제시하지 않고 현재의 우위가 장기적으로 지속될 것임을 입증하지도 않는다.
데이터센터 운영자에게 이는 인프라 결정에서 프로세서의 가격이나 성능만이 아니라 전체 시스템의 효율성을 살펴봐야 할 수 있음을 의미한다. 칩 설계자에게는 처리 능력을 높이는 것에서 데이터 이동과 병목을 줄이는 것으로 과제가 확대된다. 분석은 Nvidia가 이 새로운 계층에서 초기 단계에 강력한 진전을 보이는 것으로 보인다고 지적하지만, 이것이 경쟁의 종식이나 영구적인 우위를 보장하는 것은 아니다.