언어 모델을 실행하는 동안 컨텍스트의 키와 값을 저장하는 데 사용되는 메모리로, 긴 컨텍스트에서는 상당한 부담이 될 수 있습니다.
오픈 웨이트 인공지능 모델은 기관에 로컬 운영의 유연성을 높이고 서비스 제공업체에 대한 의존도를 줄일 수 있는 기회를 제공하지만, 그렇다고 학습 데이터나 코드 또는 사용 권한이 자동으로 공개되는 것은 아니다. Semiconductor Engineering의 분석은 이러한 모델의 영향이 메모리 설계, 인터커넥트, 보안, 칩 설계 도구의 워크플로까지 확장된다고 설명한다.
UC 버클리와 FuriosaAI의 논문은 대규모 언어 모델을 실행할 때 AI 가속기의 메모리를 확장하기 위해 고대역폭 플래시(High Bandwidth Flash)를 사용하는 방안을 검토한다. 시뮬레이션에 따르면 완료 시간이 최대 87% 단축될 수 있으며, 캐시 인식 스케줄링을 통해 에너지 소비 개선과 쓰기 수명 연장도 가능할 것으로 보인다.
마이크로소프트의 라니 부르카르는 AI 인프라의 성공이 칩이나 처리된 토큰의 수가 아니라, 각 에너지·메모리·투자 단위에서 생성되는 유용한 지능의 양으로 측정되어야 한다고 본다. 그녀는 데이터센터와 칩에서 모델·소프트웨어·에이전트에 이르는 통합 설계를 촉구한다.
Expedera의 샤라드 촐은 엣지 디바이스가 기존 비전 네트워크에서 LLM 및 VLM으로 전환하면서 병목의 성격이 연산 능력에서 메모리 이동으로 바뀌는 과정을 분석한다. 또한 패킷 기반 처리가 외부 데이터 전송을 줄이고 차량 및 임베디드 디바이스에서 모델 실행을 개선하는 역할을 설명한다.