인공지능에 관한 대부분의 기술적 논의에서 관심은 일반적으로 처리 능력(Compute)과 가속기의 속도에 집중됩니다. 이는 기존의 표준을 통해 성능을 측정하기 쉽기 때문에 이해할 만한 일입니다. 그러나 '물리적 AI'(Physical AI)의 등장은 새로운 현실을 강요합니다. 즉, 데이터 처리뿐만 아니라 실제적이고 복잡한 운영 제약 조건 하에서 처리, 메모리, 데이터 이동 간의 작업을 어떻게 조율할 것인가가 과제가 되었습니다.
왜 처리 능력만으로는 충분하지 않은가?
휴머노이드 로봇이나 드론과 같이 실제 세계에서 작동하는 시스템은 실시간으로 보고, 해석하고, 결정하고, 실행하는 능력에 의존합니다. 이러한 환경에서는 데이터 이동이 가장 큰 병목 현상이 됩니다. 만약 올바른 데이터가 적절한 시간에 적절한 엔진에 도달하지 못하면, 처리 장치(NPU 또는 CPU)는 정지(Stall) 상태가 되며, 이는 에너지 소비 증가와 민감한 시스템에서 치명적일 수 있는 지연 시간(Latency) 누적으로 이어집니다.
이러한 시스템을 설계하려면 온칩 SRAM/캐시(On-chip SRAM/Cache)와 LPDDR 또는 GDDR과 같은 더 큰 용량의 외부 메모리 간의 정밀한 균형이 필요합니다. 목표는 외부 메모리 접근을 제거하는 것이 아니라, 가장 많이 사용되고 시간에 민감한 데이터가 처리 장치와 매우 가까운 곳에 머물게 하여 에너지 소비를 줄이고 흐름의 연속성을 보장하는 것입니다.
서로 다른 제약을 부과하는 실제 응용 분야
메모리 아키텍처 요구 사항은 장치의 성격과 응용 분야에 따라 다르며, 이는 설계의 복잡성을 잘 보여줍니다.
- 휴머노이드 로봇(Humanoids): 제한된 에너지 소비와 카메라, 센서, 동작 제어에서 발생하는 방대한 데이터 흐름을 처리해야 하는 필요성 사이에서 균형을 잡아야 하는 도전에 직면합니다. 인식 데이터 도달에 조금이라도 지연이 발생하면 균형 유지나 동작 결정에 실패할 수 있습니다.
- 드론(Drones): 데이터 전송 시 발생하는 과도한 에너지 소비가 작동 시간을 직접적으로 단축시키기 때문에 '와트당 대역폭'(Bandwidth per watt) 개념이 중요한 기준으로 부각됩니다.
- 자율주행차(Autonomous Vehicles): 레이더, 라이다(Lidar), 카메라로부터의 센서 퓨전(Sensor Fusion) 데이터를 통합해야 하는 필요성 때문에 가장 큰 도전을 나타내며, 이는 즉각적이고 예측 가능한 반응을 보장하기 위한 메모리 접근 경쟁을 유발합니다.
효율적인 메모리 구조 설계를 위한 5가지 핵심 요소
물리적 AI 시스템에서 안정적인 성능을 달성하기 위해 엔지니어는 다음 5가지 주요 영역에서 전략적 결정을 내려야 합니다.
- 데이터 지역성(Data Locality): 지연 시간을 줄이기 위해 어떤 데이터를 프로세서 가까이에 유지할지, 어떤 데이터를 외부 저장소에 둘지 결정합니다.
- 데이터 트래픽 경합(Traffic Contention): 메모리 접근 시 센서 흐름, 운영 소프트웨어, 안전 기능 간의 경쟁을 관리합니다.
- 외부 메모리 적합성: 에너지 효율과 용량에 최적화된 LPDDR과 비디오 스트리밍을 위한 높은 대역폭에 최적화된 GDDR 중 선택합니다.
- 버퍼링 전략(Buffering): 데이터 재사용을 위해 필요한 로컬 저장소 크기를 결정하고 칩 외부로의 불필요한 전송을 방지합니다.
- 지연 시간 예측 가능성(Latency Predictability): 여러 작업을 동시에 실행할 때도 지연 시간이 안전한 범위 내에 유지되도록 보장합니다.
결론적으로, 물리적 AI는 시스템 통합에 대한 진정한 시험대입니다. 처리 성능은 메모리 엔지니어링의 효율성과 분리될 수 없으며, 이로 인해 데이터 구조 설계는 프로세서 설계 자체만큼이나 중요한 중심축이 되고 있습니다.