Rensselaer Polytechnic Institute와 IBM T.J. Watson Research Center의 연구진이 AI 추론 작업에 사용되는 고대역폭 메모리 HBM의 메모리 오류 정정을 관리하는 새로운 아키텍처를 제안한 기술 논문을 발표했다. 이 아키텍처의 이름은 REACH이며, 논문 제목 “REACH: Controller-Managed Long-Span ECC for HBM AI Inference”의 약자다.
이 논문은 HBM 시스템의 실질적인 문제를 다룬다. 메모리 비용이 높기 때문에 더 강력한 보호 기능이 필요하지만, 메모리 장치의 더 넓은 오류율 범위를 처리하면서도 오류 정정 메커니즘이 메모리 컨트롤러나 추론에 사용할 수 있는 대역폭에 큰 부담을 주지 않아야 한다.
아이디어는 어떻게 작동하는가?
REACH는 먼저 일반적인 오류를 처리하기 위해 내부 오류 정정 코드를 사용한 다음, 아직 해결되지 않은 부분을 식별하는 방식을 제안한다. 이후 장거리 외부 코드는 이러한 부분이 소거 상태로 알려졌을 때 이를 복구하는 데 사용된다. 이는 모든 메모리 접근이 장거리 디코딩을 필요로 하는 것처럼 처리하는 방식과 대조된다.
논문은 장거리 코드를 직접 적용하면 작은 메모리 접근이 더 넓은 데이터 범위에 걸친 상태와 연결될 수 있으며, HBM 속도에서 높은 디코딩 비용을 초래할 수 있다고 설명한다. 따라서 제안된 아키텍처는 보호 기능의 일부를 메모리 컨트롤러 내부에서 수행하고, 데이터를 직접 복구할 수 없는 위치에 관한 충분한 정보가 확보된 경우에 더 광범위한 복구를 수행하도록 지연하는 데 초점을 맞춘다.
이 소식이 중요한 이유는?
REACH는 논문의 설명에 따르면 읽기 작업이 주를 이루는 대규모 언어 모델 추론 작업의 특성을 활용한다. 순차 읽기는 더 광범위한 보호 메커니즘을 적용하기 전에 데이터 범위를 모아 처리할 수 있게 하는 반면, 분산 쓰기는 패리티 데이터 업데이트의 이동을 제한한다. 이를 통해 이 아키텍처는 모든 유형의 작업에 동일한 설계를 사용하는 대신, 추론에서 실제로 발생하는 접근 패턴에 오류 정정 메커니즘을 맞추려 한다.
여기서 실질적인 중요성은 단순히 보호 계층을 추가하는 데 있지 않고, 신뢰성, 컨트롤러 비용, 대역폭 사이의 균형을 맞추는 데 있다. 오류 정정 기능을 강화하면 메모리 장치의 오류율이 높아질 때 유용할 수 있지만, 반대로 추가적인 연산과 데이터 전송이 발생할 수 있다. REACH는 일반적인 경로를 내부 코드가 담당하도록 유지하면서, 알려진 복구 사례에서는 외부 코드를 사용해 이러한 부담을 줄이는 구상을 제시한다.
이 자료가 입증하는 것과 입증하지 않는 것은?
공개된 자료에서 확인할 수 있는 내용은 아키텍처의 개념과 그것이 대규모 언어 모델 추론에 적합한 이유에 대한 요약이다. 추출된 텍스트에는 비용 절감 규모, 에너지 소비, REACH가 응답 시간과 데이터 전송률에 미치는 영향에 관한 수치가 포함되어 있지 않으며, 다른 HBM 설계와의 정량적 비교도 제시되지 않는다. 따라서 이를 상용화가 완료된 증명이나 공개된 성능 수치가 아니라 제안된 연구 설계로 보아야 한다.
이 논문은 2026년 9월 arXiv에 전체 제목으로 등록되었으며, 번호는 arXiv:2609.10861, DOI 식별자는 10.48550/arXiv.2609.10861이다. 저자는 Rui Xie, Yunhua Fang, Asad Ul Haq, Linsen Ma, Sanchari Sen, Swagath Venkataramani, Liu Liu, Tong Zhang이다.