고대역폭 메모리 HBM은 인공지능 워크로드 처리를 위해 시스템 업체들이 더 높은 대역폭을 요구함에 따라 물리적·제조상의 한계에 점점 더 가까워지고 있다. Hot Chips 2026에서 논의된 바에 따르면, 지금까지 가장 직접적인 해결책인 패키지 내 DRAM 다이 추가는 다이 박막화, 열 관리, 정렬 및 수용 가능한 수율 유지의 어려움을 동시에 높인다.
HBM은 기본 로직 다이 위에 메모리 다이를 3차원으로 적층하고, 수천 개 또는 수만 개의 실리콘 관통 비아(TSV)를 통해 각 층을 연결한다. 이러한 연결 수를 늘리면 대역폭이 높아지지만, 메모리 셀에 할당할 수 있었던 면적을 차지한다. 따라서 성능 증가는 웨이퍼당 용량의 비례적인 증가로 이어지지 않고, 기존 DRAM에 비해 비트당 실리콘과 생산 자원 및 전력 소비를 높인다.
층이 추가될 때마다 제조 위험 증가
HBM 모듈의 높이를 패키지 한도 내로 유지하려면 DRAM 다이를 박막화해야 한다. 그러나 더 얇은 다이는 제조와 패키징 과정에서 다루기 어려워지고 휘어짐에도 더욱 취약해진다. 이는 웨이퍼 취급, 범프 정렬 및 다이 간 접합에 영향을 준다. 또한 적층 높이가 높아지면 전력 밀도가 증가하고 모듈 내부의 열 경로가 길어진다.
새로운 층이 추가될 때마다 결함 가능성도 높아진다. 언더필(underfill) 재료에 빈틈이 생기거나, 정렬 불량 또는 공정 편차로 인해 구조적 결함이 발생할 수 있다. 이러한 결함 중 하나만으로도 전체 적층체가 고가의 폐기물이 될 수 있어 수율을 압박하고 실제 DRAM 공급량을 줄인다.
SK hynix는 16개 다이로 구성된 HBM 적층체 개발을 통해 이러한 과제를 보여줬다. SK hynix America의 패키지 엔지니어링 부문 부사장 Jaesik Lee는 Hot Chips 2026에서 720마이크론에서 775마이크론으로 큐브 두께를 늘리면 추가적인 여유가 생기지만, 12개 다이 적층 높이와 비교할 때 다이 두께를 여전히 10% 줄여야 한다고 말했다. 그 밖의 과제로는 간극 높이 축소, 범프 피치 축소, 다이 벽 두께 감소와 함께 전력 밀도 및 대역폭 증가가 있다.
대역폭은 면적을 대가로 얻는다
Samsung Memory 설계팀의 Sangwook Han은 HBM3E가 DRAM 다이당 128개 뱅크를 포함하는 반면 HBM4는 다이당 256개 뱅크에 이른다고 말했다. 이 구조에는 다이를 기본 다이에 연결한 뒤 미세 연결부와 인터포저(interposer)를 통해 GPU 또는 XPU에 연결하기 위한 더 많은 데이터 경로와 주변 회로가 필요하다.
이 구조는 TSV를 단순히 더 빠르게 만드는 방식으로 성능을 높이기 어려운 이유를 보여준다. TSV의 속도를 높이는 일은 어렵거나 위험할 수 있기 때문에 설계는 TSV 수를 늘리는 방향으로 나아갔다. 그러나 더 큰 TSV 배열은 다이 면적을 차지하므로 TSV 사이의 간격을 계속 줄여야 한다. Han에 따르면 기본 다이의 입출력 PHY 회로를 확장하는 일은 더 복잡하다.
Objective Analysis의 Jim Handy는 기조연설에서 HBM의 웨이퍼당 메모리 생산량이 기존 DDR의 약 3분의 1에 해당한다고 추산했다. 이는 HBM 생산에 많은 웨이퍼가 필요하다는 뜻이며, 서로 다른 DRAM 유형은 유사한 공정 생산 라인에서 제조된다. 따라서 HBM 수요 증가는 전체 DRAM 공급에 압박을 가할 수 있다.
냉각이 아키텍처 제약으로 바뀌다
HBM 적층체 내부에서 열은 균일하게 분산되지 않는다. 기본 다이는 일반적으로 더 복잡한 작업을 수행하고 고속 연결을 포함하기 때문에 가장 뜨거운 부분이며, 방열판은 적층체 상단에 위치한다. 적층체 높이가 높아지면 열원과 냉각 수단 사이의 열저항이 증가한다.
Micron에서 HBM 설계 아키텍처 펠로우를 맡고 있는 Raghu Sreeramaneni는 온도 상승이 DRAM 셀 리프레시 작업을 신뢰성 문제로 만들 수 있다고 말했다. 따라서 열 솔루션은 설계가 완료된 뒤 추가되는 단계가 아니라 시스템 자체의 설계를 이끄는 요소가 됐다. 이는 여러 GPU와 HBM 모듈을 하나의 공간에 결합하는 시스템 패키지 설계자들에게 중요한 지점이다.
이 소식이 중요한 이유
이 분석은 HBM의 제약을 메모리 시장의 더 광범위한 문제와 연결한다. Handy는 DRAM 부족의 세 가지 원인으로 인공지능에 대한 가속화된 투자와 고속 메모리 수요, HBM이 비트당 더 많은 양을 소비함에 따른 DRAM 웨이퍼 가용성 감소, 그리고 수요를 따라잡기에 부족한 제조 능력을 꼽았다.
자료에 따르면 기업들은 시장 성장이 새로운 공장을 건설하는 대신 웨이퍼당 기가바이트 수를 늘리는 방식으로 대응할 수 있었기 때문에 10년 넘게 새로운 제조 능력을 추가하지 않았다. 그러나 현재 새로운 DRAM 공장을 건설하는 데는 최소 2년이 걸리며, 전력·물·인력의 가용성과 환경 규제에 따라 더 길어질 수 있다. 현재 건설 중인 증설 시설이 가격과 공급의 균형을 회복하기에 충분할지는 아직 보장되지 않는다.
컴퓨팅 능력과 메모리 성장 사이에도 또 다른 격차가 나타난다. Sreeramaneni에 따르면 컴퓨팅은 2년마다 약 3배씩 확장되는 반면 HBM은 같은 기간 약 2배 성장한다. 이는 ‘메모리 장벽’이 사라진 것이 아니라 더욱 심해질 수 있음을 의미한다.
향후 개발 경로
업계는 새로운 층을 추가하는 것을 넘어 메모리용 개선된 SerDes PHY, 더 큰 인터포저 또는 다른 소재의 인터포저, 더 높은 대역폭의 채널과 함께 향후 광학 기술 도입을 검토하고 있다. 또한 접합 공정은 열압착 기반 마이크로범프에서 fusion bonding과 hybrid bonding으로 전환될 수 있다. 이 두 방식은 한 자릿수 마이크론 범위까지의 간격을 지원하며 다이 사이의 절연층을 줄여 열저항을 낮출 수 있다.
자료는 부족 문제나 열 제약에 대한 빠른 해결책을 제시하지 않는다. 그러나 HBM 확장이 메모리 밀도를 높이는 문제에서 시스템 전체 구조에 걸친 과제로 바뀌었음을 보여준다. 여기에는 제조 공정과 수율부터 패키징과 냉각, 그리고 데이터 처리가 이루어지는 위치까지 포함된다. 인공지능의 확산이 계속되면서 이는 메모리 내부 또는 엣지의 센서 내부에서 처리를 수행하고 데이터센터로 전송되는 데이터의 양을 줄이는 분산 처리 방식으로 이어질 수 있다.