이 논문에서는 대규모 언어 모델 서비스의 메모리를 확장하기 위해 HBM 및 호스트 메모리와 함께 사용할 것을 제안하는 고대역폭 플래시 메모리 계층입니다.
UC 버클리와 FuriosaAI의 논문은 대규모 언어 모델을 실행할 때 AI 가속기의 메모리를 확장하기 위해 고대역폭 플래시(High Bandwidth Flash)를 사용하는 방안을 검토한다. 시뮬레이션에 따르면 완료 시간이 최대 87% 단축될 수 있으며, 캐시 인식 스케줄링을 통해 에너지 소비 개선과 쓰기 수명 연장도 가능할 것으로 보인다.