엣지 디바이스에서의 가변 길이 문제
엣지 디바이스(Edge devices)에서 작동하도록 거대언어모델(LLMs)을 설계할 때, 개발자들은 디바이스가 수신하는 '프롬프트(Prompts)' 길이의 차이와 관련된 근본적인 문제에 직면합니다. 프롬프트는 몇 단어로 구성된 간단한 음성 명령일 수도 있지만, 수천 개의 토큰(Tokens)으로 구성된 긴 문서를 분석해야 하는 작업일 수도 있습니다. 이러한 변동성은 제한된 성능을 가진 디바이스에서 컴퓨팅 자원을 관리하는 방식에 큰 부담을 줍니다.
'패딩' 문제와 컴퓨팅 에너지 낭비
대부분의 기존 추론 스택(Inference stacks)은 고정된 길이의 그래프(Graphs) 처리에 의존합니다. 예를 들어, 시스템이 1024개의 토큰을 처리하도록 설정된 경우, 실제 프롬프트가 50개의 토큰으로만 구성되어 있더라도 모델이 실행될 때마다 1024개의 위치를 처리하게 됩니다. 이 경우 시스템은 나머지 974개의 토큰을 쓸모없는 '패딩(Padding)' 작업으로 처리해야 하며, 이는 시간과 컴퓨팅 에너지의 상당한 낭비를 초래합니다.
전통적인 방식으로 이 문제를 극복하기 위해 개발자들은 길이 범위마다 별도의 바이너리 파일을 구축해야 하며, 이는 소프트웨어 검증(Qualification) 및 관리 과정을 크게 복잡하게 만듭니다.
Quadric Chimera GPNPU 솔루션
Quadric사의 범용 신경처리장치(GPNPU)인 Chimera는 완전히 다른 접근 방식을 제시합니다. 이 유닛은 고정된 길이에 의존하는 대신, 설정된 최대 용량까지 모든 가능한 길이를 처리하기 위해 단일 그래프(One graph)를 사용할 수 있도록 보장합니다.
이 혁신은 각 길이에 대해 여러 개의 바이너리 파일을 구축할 필요성을 없애주며, 소프트웨어 스택의 복잡성을 줄이고 불필요한 패딩 작업에 처리 주기를 낭비하지 않으면서 컴퓨팅 자원을 최대한 효율적으로 활용할 수 있도록 합니다.
개발자와 제조사에게 갖는 의미
이러한 발전은 엣지 디바이스에서 AI 성능을 최적화하는 방식의 전환점을 의미하며, 다음과 같은 이점을 제공합니다.
- 에너지 효율성: 불필요한 계산 작업을 줄이는 것은 배터리로 작동하는 디바이스에 필수적인 에너지 소비 감소를 의미합니다.
- 소프트웨어 단순화: 구축하고 테스트해야 하는 바이너리 파일의 수를 줄여 제품 개발 주기를 단축합니다.
- 유연성: 동일한 소프트웨어 인프라를 사용하여 다양한 입력(짧은 음성 명령부터 긴 텍스트까지)을 처리할 수 있는 능력.