대규모 언어 모델을 실행하고 서비스하는 것으로, 제안된 메모리 계층 구조를 평가하는 맥락입니다.
UC 버클리와 FuriosaAI의 논문은 대규모 언어 모델을 실행할 때 AI 가속기의 메모리를 확장하기 위해 고대역폭 플래시(High Bandwidth Flash)를 사용하는 방안을 검토한다. 시뮬레이션에 따르면 완료 시간이 최대 87% 단축될 수 있으며, 캐시 인식 스케줄링을 통해 에너지 소비 개선과 쓰기 수명 연장도 가능할 것으로 보인다.