HBM4는 고대역폭 메모리 설계 방식의 전환점이다. 특정 워크로드나 프로세서에 맞춘 맞춤형 로직 다이로 표준 기본 로직 다이를 교체할 수 있기 때문이다. 특히 하이퍼스케일러 기업은 모든 고객이 이용하는 표준 제품에만 의존하지 않고, 메모리를 맞춤형 XPU에 맞출 수 있게 된다.
그렇다고 기존 HBM 패키지와 같은 방식으로 구매할 수 있는 새로운 단일 제품이 등장한다는 뜻은 아니다. 맞춤형 메모리 또는 cHBM의 각 구현에는 누가 기본 다이를 설계하고, 누가 이를 제조하고 웨이퍼를 테스트하며, 누가 메모리 다이를 통합하고, 누가 최종 테스트를 수행하는지 정하는 합의가 필요하다. 기사에 따르면 답은 프로젝트와 참여 고객에 따라 달라질 것이다.
HBM4에서 무엇이 바뀌었나?
HBM 패키지는 여러 층으로 구성되며, 대부분은 메모리 다이이고 하단에는 패키지 내부의 관리, 주소 지정 및 제어 작업을 담당하는 로직 다이가 있다. HBM3까지는 Micron, Samsung, SK hynix를 비롯한 메모리 기업들이 기본 다이를 포함한 모든 다이를 설계하고 제조했다.
그러나 HBM4에서는 기본 다이가 DRAM 공정과 유사한 공정 대신 더욱 첨단인 로직 제조 공정으로 전환됐다. 이 다이는 4나노미터 또는 그보다 최신 노드를 사용할 가능성이 높지만, DRAM 다이 자체는 이러한 공정으로 전환되지 않는다. 따라서 로직 파운드리가 기본 다이를 제조한 뒤, 표준 버전에서는 메모리 기업이 패키지를 조립하고 테스트할 수 있다.
HBM4와 이후 세대는 이 표준 다이를 맞춤형 다이로 교체하는 선택지를 추가한다. 메모리 다이 자체는 반드시 변경되지 않으며, 맞춤화는 제어 로직, 인터페이스 및 관리 기능에 집중된다. 이를 통해 패키지를 시스템 설계에 맞출 수 있다.
왜 맞춤화의 대상은 하이퍼스케일러 기업인가?
표준 HBM을 사용하려면 완제품 모듈을 구매해야 하지만, 맞춤화는 메모리 확보 과정을 자금과 팀, 도구 및 시간이 필요한 설계 프로젝트로 바꾼다. 따라서 하이퍼스케일러 기업이 가장 명확한 후보로 보인다. 이들은 필요한 자원을 보유하고 있으며, 인공지능 워크로드도 일반 웹 서버 워크로드보다 더욱 전문화되어 있기 때문이다.
이러한 기업은 특정 유형의 작업에 대규모 장비 클러스터를 할당할 수 있으므로 프로세서와 메모리를 함께 수정하는 것이 더욱 타당하다. 또한 인공지능 컴퓨팅의 발전 속도는 표준이 정립되는 속도보다 빠르다. Marvell의 Khurram Malik은 JEDEC의 표준화 속도가 하이퍼스케일러 기업의 움직임을 따라가지 못한다고 지적했다. 따라서 맞춤화는 공식 표준을 기다리지 않고 새로운 워크로드에 대응할 수 있는 수단이 될 수 있다.
기업들도 자체 XPU 구축을 검토하기 시작했지만, 이 흐름은 아직 초기 단계다. Marvell은 자체 맞춤형 클라우드 컴퓨팅 부문을 통해 실질적인 사례를 제시한다. 이 부문은 고객을 위한 XPU를 개발하며, 고객마다 완전히 별도의 솔루션을 구축하는 대신 여러 고객의 요구를 충족할 수 있는 맞춤형 HBM 버전을 설계하려 한다.
칩 설계에서 실제로 무엇이 달라지나?
기본 다이를 맞춤화하면 메모리 컨트롤러가 호스트 프로세서 칩에서 HBM 기본 다이 내부로 이동한다. 이를 위해서는 Arm의 확장 가능한 인터페이스인 AXI나 다른 방법을 사용해 프로세서와 컨트롤러를 연결하는 방식을 합의해야 한다. 프로세서와 메모리 패키지 사이의 연결 인터페이스도 시스템에 맞게 최적화할 수 있다.
이 변화는 처리 칩에서 공간을 확보한다. 메모리 컨트롤러와 연결된 PHY 인터페이스가 기존 방식처럼 별도의 칩 사이에서 신호를 구동할 필요가 없어지기 때문이다. Malik은 DRAM PHY를 UCIe와 같은 die-to-die 인터페이스로 교체하면 연결 블록이 표준 PHY보다 약 70% 작아질 수 있으며, 프로세서 칩의 컴퓨팅 능력을 25% 높이고 전력을 줄이는 동시에 전체 XPU의 효율을 개선할 수 있다고 말했다.
맞춤형 기본 다이는 더 넓은 연결 영역, 즉 칩의 “해안선”을 제공할 수도 있다. 이를 통해 더 많은 HBM 패키지를 연결하고 컴퓨팅 유닛에 제공되는 메모리 용량을 늘릴 수 있다. 맞춤화에는 신뢰성, 가용성 및 서비스 가능성 기능, 텔레메트리 데이터 수집과 시스템 내부 관리 메커니즘도 포함될 수 있다.
누가 패키지를 설계하고 제작하는가?
설계는 설계, 웨이퍼 제조 및 테스트, 조립, 최종 테스트라는 네 단계 가운데 가장 어려운 단계로 보인다. 메모리 증설 또는 수정이 성능과 전력에 어떤 영향을 미치는지에 대한 명확한 관점과 함께 엔지니어링 팀 및 도구가 필요하기 때문이다. 메모리 기업이 전문성을 보유하고 있기는 하지만, 현재 수요를 충족하는 데 자원이 투입되어 있어 많은 맞춤형 설계를 수행할 전담 팀이 없을 수도 있다.
따라서 설계는 하이퍼스케일러 기업과 같은 메모리 고객 자체가 맡거나, Marvell과 같은 팹리스 설계 기업이 맡을 수 있다. 기성 설계 블록을 재사용하더라도 고객별 요구사항이 동일하지 않기 때문에 각 고객에 맞춘 조정과 최적화가 여전히 필요하다.
웨이퍼 제조와 테스트는 로직 파운드리에서 이루어질 것으로 예상되며, 이 파운드리는 표준 기본 다이를 생산하는 파운드리와 다를 수도 있다. 조립 책임을 맡을 주체는 프로젝트 합의에 따라 정해진다. 표준 HBM4에서는 메모리 기업이 테스트된 로직 다이를 받아 패키지를 조립하고 최종 제품을 테스트한다. 반면 cHBM에서는 메모리 기업, 로직 파운드리 및 전문 조립 시설이 이러한 책임을 나누어 맡거나, 고객이 통합에 대한 더 큰 소유권을 유지할 수 있다.
TSMC는 최근 Winbond와의 협력을 발표했다. Winbond가 메모리 다이를 제공하고 TSMC가 패키지 조립을 담당한다. 이 모델은 패키지 통합이 주요 메모리 기업에만 국한되지 않을 수 있음을 시사한다.
cHBM이 메모리 부족 압박을 완화할 수 있나?
Synopsys는 대체 맞춤형 DRAM 적층을 사용하는 프로젝트가 연간 20건을 넘지 않을 것으로 예상한다. 이는 이 경로의 제한적인 규모를 보여 준다. 또한 cHBM이 전체 시장 메모리 수요를 반드시 늘리는 것도 아니다. 전체 메모리 수요에는 표준 애플리케이션과 맞춤형 애플리케이션이 모두 포함되므로, 영향은 총수요 증가보다는 제품 구성과 관련된다.
그럼에도 메모리 확보는 여전히 어렵다. Malik은 메모리 공급업체의 공장 가용 생산능력이 약 1년 반에서 2년 동안 매진되었고 가격도 상승했다고 지적했다. 맞춤형 프로젝트의 수와 제조 위치를 예측하는 일이 표준 패키지를 계획하는 것보다 어렵기 때문에 공급 계획 과정은 더욱 복잡해질 수 있다.
왜 이 발전이 중요한가?
cHBM은 인공지능 시스템 경쟁이 단순히 메모리 용량을 늘리는 데 그치지 않고, 메모리와 처리 유닛 및 인터페이스를 하나의 설계로 통합하는 문제임을 보여 준다. 현재 진행 중인 프로젝트의 경우 맞춤형 패키지가 1~2년 안에 데이터센터에 도입될 수 있지만, 확산은 설계 비용, 엔지니어링 팀의 가용성, 파트너들의 조립 및 테스트 역량에 의해 제한될 것이다. 따라서 시장의 미래는 모든 고객에게 적합한 단일 해법이 아니라 여러 모델로 구성될 것으로 보인다.