용어

KV 캐시

언어 모델을 실행하는 동안 컨텍스트의 키와 값을 저장하는 데 사용되는 메모리로, 긴 컨텍스트에서는 상당한 부담이 될 수 있습니다.

최신 보도

CN
오픈 웨이트 인공지능 모델은 왜 하드웨어 설계를 재편하는가?

오픈 웨이트 인공지능 모델은 왜 하드웨어 설계를 재편하는가?

오픈 웨이트 인공지능 모델은 기관에 로컬 운영의 유연성을 높이고 서비스 제공업체에 대한 의존도를 줄일 수 있는 기회를 제공하지만, 그렇다고 학습 데이터나 코드 또는 사용 권한이 자동으로 공개되는 것은 아니다. Semiconductor Engineering의 분석은 이러한 모델의 영향이 메모리 설계, 인터커넥트, 보안, 칩 설계 도구의 워크플로까지 확장된다고 설명한다.

CN
고대역폭 플래시 메모리, 대규모 언어 모델의 서비스 시간을 최대 87% 단축할 수 있어

고대역폭 플래시 메모리, 대규모 언어 모델의 서비스 시간을 최대 87% 단축할 수 있어

UC 버클리와 FuriosaAI의 논문은 대규모 언어 모델을 실행할 때 AI 가속기의 메모리를 확장하기 위해 고대역폭 플래시(High Bandwidth Flash)를 사용하는 방안을 검토한다. 시뮬레이션에 따르면 완료 시간이 최대 87% 단축될 수 있으며, 캐시 인식 스케줄링을 통해 에너지 소비 개선과 쓰기 수명 연장도 가능할 것으로 보인다.

CN
마이크로소프트: AI 발전의 기준은 인프라 규모가 아니라 ‘유용한 수익률’이어야 한다

마이크로소프트: AI 발전의 기준은 인프라 규모가 아니라 ‘유용한 수익률’이어야 한다

마이크로소프트의 라니 부르카르는 AI 인프라의 성공이 칩이나 처리된 토큰의 수가 아니라, 각 에너지·메모리·투자 단위에서 생성되는 유용한 지능의 양으로 측정되어야 한다고 본다. 그녀는 데이터센터와 칩에서 모델·소프트웨어·에이전트에 이르는 통합 설계를 촉구한다.

CN
엣지 AI가 LLM으로 전환됨에 따라 NPU를 재설계해야 하는 이유

엣지 AI가 LLM으로 전환됨에 따라 NPU를 재설계해야 하는 이유

Expedera의 샤라드 촐은 엣지 디바이스가 기존 비전 네트워크에서 LLM 및 VLM으로 전환하면서 병목의 성격이 연산 능력에서 메모리 이동으로 바뀌는 과정을 분석한다. 또한 패킷 기반 처리가 외부 데이터 전송을 줄이고 차량 및 임베디드 디바이스에서 모델 실행을 개선하는 역할을 설명한다.