인공지능 모델을 실행하여 출력을 생성하는 과정으로, 이 글에서는 그 속도와 비용을 최적화하는 방법을 다룹니다.
NVIDIA의 최고경영자는 AI 프로세서가 긴 유효 수명과 높은 잔존 가치를 지니고 있어, 자금 조달을 위한 신뢰할 수 있는 담보로 활용할 수 있는 안정적인 투자 자산이라고 보고 있습니다.
2026년 10월 10일부터 16일까지 한 주 동안 미국의 상위 10개 자금 조달 라운드에 포함된 스타트업들은 수십억 달러를 조달했지만, 수억 달러를 넘는 라운드는 단 2건으로 줄었다. Modal Labs가 7억 5,000만 달러 규모의 Series D 라운드로 목록 1위를 차지했으며, Icon이 2억 달러의 자금 조달로 뒤를 이었다.
AI 추론 전문 칩 회사 Etched가 210억 달러의 기업가치로 7억 달러를 조달한 뒤, 400억~500억 달러의 기업가치로 초기 투자 제안을 검토하고 있다. 아직 어떤 거래도 확정되지 않았지만, 이는 Nvidia와 경쟁할 수 있는 회사의 능력에 대한 투자자들의 기대를 반영한다.
AI 추론 인프라 전문 기업 Modal Labs가 Accel의 주도로 157억 5천만 달러의 기업가치에 7억 5천만 달러를 조달하는 데 근접했다. 이는 컴퓨팅 비용 압박과 업계의 제한적인 수익 마진이 계속되는 가운데, 4개월 전 기업가치보다 3배 이상 높은 수준이다.
Crusoe는 시리즈 F 투자 라운드에서 39억 달러를 조달하며 기업가치를 309억 달러로 끌어올렸다. 조달금은 대규모 데이터센터와 이동 가능한 모듈형 컴퓨팅 센터에 투입된다. 이는 회사가 인프라 및 GPU 유닛 임대와 추론 서비스를 확대하는 가운데 이뤄졌다.
CleanTechnica의 분석은 에너지 및 기후 프로젝트를 인공지능과 결합하면 일부 특정 제약을 해결할 수 있지만, 오래된 상업적·공학적 문제까지 없애지는 못한다고 본다. 결정적인 기준은 추가된 기술이 실제로 전체 시스템 비용을 낮추는지, 아니면 가치가 고객에게 도달하기 전에 의존성의 수를 늘리는지 여부다.
Sharp는 NVIDIA 기술을 활용해 기업, 정부 기관 및 데이터센터를 위한 맞춤형 인공지능 서버 주문 접수를 시작한다고 발표했으며, 2030 회계연도에 2,500억 엔의 매출을 목표로 하고 있습니다. 계획에는 NVIDIA RTX Pro Server를 기반으로 한 서버와 대규모 학습 및 추론을 위한 NVIDIA HGX 플랫폼을 기반으로 한 서버가 포함됩니다.
OmniOps와 HPE는 LEAP 기간 중 양해각서를 체결하고, 사우디아라비아에서 HPE가 생산하는 인프라와 현지에서 개발된 OmniOps 플랫폼 및 사우디아라비아 내 배포 역량을 결합한 인공지능 솔루션을 개발하기로 했다. 이번 파트너십은 정부 기관과 기업이 인공지능 활용 사례를 시험 단계에서 운영 단계로 전환하도록 지원하는 것을 목표로 하며, 인프라와 소프트웨어 및 관리 운영을 사우디아라비아 관할권 내에 유지한다.
Huawei and its partner iFlytek have offered the Egyptian government to build data centers dedicated to artificial intelligence applications, including the import of more than 2,000 advanced chips. Washington is discussing with companies including NVIDIA, AMD, and Microsoft the possibility of submitting a competing offer, placing the project at the center of the U.S.-China technology rivalry.
Groq가 3억 5,000만 달러의 신규 자금을 조달해 기업가치를 35억 달러로 높이고, 인공지능 칩 개발에서 Nvidia 시스템 기반 클라우드 인프라 운영으로의 전환을 가속화했다. 회사는 2027년까지 운영 용량을 54메가와트에서 200메가와트 이상으로 확대하는 것을 목표로 한다.
프랑스 스타트업 Kog는 기존 GPU가 심층적인 소프트웨어 최적화를 통해 AI 모델 추론 속도를 여전히 더 높일 수 있다고 보고 있다. 그러나 먼저 소형 모델에서 초당 3,000토큰을 달성한 자사의 접근 방식이 더 큰 언어 모델에서도 작동한다는 점을 입증해야 한다.