엣지 디바이스가 비전 네트워크에만 의존하던 방식에서 벗어나 대규모 언어 모델(LLM), 비전·언어 모델(VLM), 생성형 AI 기능을 기존 인식 네트워크와 함께 실행하면서 신경망 AI 처리 장치(NPU)의 설계가 변하고 있다. Expedera의 수석 과학자이자 공동 창립자인 샤라드 촐은 이러한 전환으로 문제의 중심이 연산 극대화에서 데이터 및 메모리 이동 관리로 옮겨가며, 특히 휴대전화, 자동차, 임베디드 게이트웨이에서 그 영향이 크다고 본다.
이 자료는 Semiconductor Engineering에 후원 블로그 형식으로 게재되었으므로, Origin Evolution 아키텍처와 관련된 수치 및 결과는 독립적인 게시자 측 테스트가 아니라 Expedera가 제시한 결과와 실험으로 보아야 한다.
연산 병목에서 메모리 병목으로
YOLO 검출기, MobileNet 분류기, 이미지 분할 네트워크와 같은 CNN 기반 비전 워크로드에서는 역사적으로 주요 제약이 연산 능력이었다. 데이터와 가중치가 높은 수준으로 재사용되고 추론 중 실행이 사실상 상태 비저장 방식으로 유지되었기 때문에, 가속기 설계는 면적과 전력 한도 안에서 MAC(곱셈 누산) 연산 수를 늘리는 데 초점을 맞췄다.
Expedera는 거대한 계층 대신 패킷 형태로 작업을 스케줄링하면 MAC 유닛의 활용도가 향상되고 외부 DDR 메모리로 이동하는 활성화 데이터가 줄어든다고 말한다. 그러나 LLM과 VLM은 워크로드의 성격을 바꾼다. Prefill 단계는 여전히 연산 집약적일 수 있지만, Decode 단계는 키·값 캐시(KV cache)에 대한 접근, 파라미터의 규모와 접근 패턴에 의해 빠르게 제한되며, 효과적인 재사용률도 낮아진다.
분석에 따르면, 병렬 상태 비저장 CNN 처리를 중심으로 설계된 NPU는 트랜스포머 디코딩 연산이 메모리 대역폭과 KV cache 크기에 의해 제한되는 상황에서 명목상의 TOPS 수치만으로 평가하기에는 충분하지 않다.
트랜스포머 워크로드에서의 패킷
Expedera는 패킷 기반 처리 개념을 CNN에서 트랜스포머 블록과 KV cache 접근으로 확장하는 방안을 연구하고 있다. 이를 위해 LLM 및 VLM의 동작을 단순히 또 하나의 모델로 취급하는 대신 하드웨어와 소프트웨어를 함께 설계한다.
저자의 설명에 따르면 이 아키텍처는 전방향 연산, 어텐션, 벡터 연산을 위한 별도의 처리 블록으로 구성되며, 네트워크 구조와 현재 실행 단계가 Prefill인지 Decode인지에 따라 패킷이 블록 사이에서 전달된다. 회사는 자사의 엔진이 단일 코어에서 128테라플롭스까지, 다중 코어 구성에서는 페타플롭스 수준까지 확장될 수 있으며 메모리 동작을 설계의 중심에 유지한다고 말한다.
Expedera에 따르면 이 아키텍처는 재학습이나 정밀도 저하 없이 모델이 학습된 방식 그대로 실행되도록 한다. 또한 회사는 Llama 3.2 1B와 Qwen2 1.5B를 실행할 때 패킷 기반 처리가 대체 방식과 비교해 외부 메모리 이동을 75% 이상 줄였다고 밝혔다. 아울러 메모리 제약 시나리오에서 실리콘 1제곱밀리미터당 수천 테라플롭스의 유효 성능과 초당 수십 개의 토큰에 해당하는 결과를 제시했다고 설명한다.
엣지 디바이스와 자동차에 미치는 의미
추론을 로컬에서 실행하면 종단 간 지연 시간을 줄일 수 있으며, 객실 또는 디바이스의 데이터가 클라우드 외부에 머물게 할 수 있다. 저자가 설명하듯 이는 사용자 경험 요구사항이 개인정보 보호 및 규제 요건과 맞물리는 자동차와 모바일 디바이스에서 중요성이 커진다.
반면 디코딩의 각 단계마다 KV cache를 DDR 또는 HBM으로 스트리밍하는 것은 특히 엣지 노드와 차량 내부 시스템에서 전력과 비용 부담을 발생시킨다. Expedera는 외부 전송을 줄이고 로컬 재사용을 늘리면 정해진 전력 예산 안에서 초당 더 많은 토큰을 처리할 수 있다고 본다.
자동차용 시스템 온 칩은 인식, 운전자 모니터링, 인포테인먼트, 생성형 기능을 동시에 실행해야 한다. 저자의 관점에서 CNN과 LLM을 함께 핵심 워크로드로 처리하는 NPU 제품군은 원래 CNN에 최적화된 코어에 LLM 지원을 추가하는 방식 대신 플랫폼 설계를 단순화하고 별도의 가속기 필요성을 줄일 수 있다.
이 기사는 Origin Evolution이 2026년 Edge AI and Vision Product of the Year 시상식에서 «최우수 엣지 AI 프로세서 IP» 상을 받았다고 언급하며, 이 상을 최고 성능 지표를 높이는 데 그치지 않고 메모리 및 전력 병목을 해결하는 것의 중요성과 연결한다.
Prefill 및 Decode 단계 모델링
촐은 공학적 가치가 패킷 개념 자체에만 있는 것이 아니라 Prefill과 Decode 단계를 모델링하고 별도로 최적화하는 데 있다고 본다. 전자는 높은 연산 처리량이 필요하고 더 큰 모델을 다룬다는 점에서 CNN의 동작과 부분적으로 유사한 반면, 후자는 KV cache 읽기, 메모리 스트리밍, 단계별로 더 적은 연산이 지배한다.
자료에 따르면 패킷 흐름과 분리된 블록을 활용하면 두 단계를 구분하는 성능 및 대역폭 모델을 구축하고, KV cache의 실제 접근 패턴에 따라 DRAM 또는 HBM 대역폭, SRAM 크기 및 분할과 같은 메모리 시퀀싱 및 스트리밍 인터페이스 설정을 연구할 수 있다. 또한 LLM 또는 VLM 기능이 인간·기계 상호작용 인터페이스나 운전자 모니터링과 연결되는 안전 민감형 자동차 워크로드에서 최악의 지연 시간과 대역폭의 영향을 분석하는 데 사용할 수 있다.
소프트웨어 호환성과 EDA 도구의 역할
Expedera는 Origin Evolution 제품군이 HuggingFace, Llama.cpp, TVM 등의 모델을 받아들이며 정수 및 부동소수점 정밀도, 혼합 모드, 계층 융합 또는 분할을 지원한다고 말한다. 또한 칩 또는 멀티다이 패키지 수준에서 여러 코어를 중앙 제어할 수 있다.
저자의 관점에서 패킷은 모델 사용자에게 새로운 프로그래밍 모델을 의미하지 않는다. 모델 변환은 컴파일러 경로와 런타임 환경에서 수행되며, 재학습이나 정밀도 저하 없이 학습된 모델을 하드웨어에 배치할 수 있다. 이는 각 하드웨어에 맞춘 별도 재작성의 필요성을 줄이고 EDA 및 검증 팀이 Llama 3와 Qwen 2 같은 참조 애플리케이션을 기준으로 성능을 테스트할 수 있도록 한다.
이 기사는 앞으로의 질문이 패킷 방식이 CNN에서 성공하는지에만 있지 않고, 이 방식이 서로 다른 AI 워크로드 전반에서 모델링, 스케줄링, 검증을 얼마나 단순화하는지에 있다고 결론짓는다. 생성형 기능이 자동차와 엣지 디바이스로 이동함에 따라 이러한 요소가 어떤 가속기 아키텍처가 양산으로 이어지고 어떤 아키텍처가 벤치마크 시연에 머무를지를 결정할 수 있다.