최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
데이터센터는 모든 작업에 단일 GPU를 사용하는 대신 CPU, GPU, NPU, 전용 가속기와 광 연결을 결합한 이기종 클러스터로 향하고 있다. 이러한 전환으로 소프트웨어, 네트워크 관리 및 전력은 토큰 비용을 낮추고 하드웨어 활용도를 개선하는 데 핵심적인 요소가 되고 있다.
Semiconductor Engineering의 분석에 따르면, 특히 인공지능 워크로드가 가속화되고 전력 및 열 제약이 심화되면서 하드웨어 팀과 소프트웨어 팀을 전통적으로 분리하던 방식은 더 이상 현대 시스템에 적합하지 않다. 이에 따라 기업들은 소프트웨어와 병행해 더욱 특화된 하드웨어를 설계하고 있으며, 동시에 도구, 비용 및 표준화와 관련된 과제도 여전히 남아 있다.