인공지능 칩 내부에서 데이터를 공유하는 구성 요소의 수가 증가하면서, 더 이상 이러한 데이터 관리가 전적으로 소프트웨어의 책임은 아니다. 데이터 가속 장치가 메모리에 데이터를 쓴 뒤 중앙처리장치가 이를 읽거나, 구성 요소들이 공유 제어 정보를 교환하는 경우 소프트웨어는 어떤 데이터 사본이 최신인지 알아야 한다. 이 글은 메모리 일관성을 사용해 이러한 작업의 더 많은 부분을 하드웨어로 이전하면 소프트웨어의 복잡성, 조정 오류, 시스템 개발의 어려움을 줄일 수 있다고 설명한다.
이 글은 Semiconductor Engineering에 후원 블로그 형식으로 게재되었으며, Arteris에서 제품 관리 및 마케팅을 담당하고 일관성 있는 인터커넥트와 다이 간 통신을 책임지는 Ashley Stevens가 작성했다. 따라서 기술적으로 유용한 설명을 제공하지만, Arteris 제품의 역량을 소개하는 내용도 포함하고 있으므로 주장을 평가할 때 이를 고려해야 한다.
분리된 사본에서 공유 메모리로
기존 시스템에서는 프로세서와 가속기를 비교적 분리해 둘 수 있었다. 프로세서는 PCIe를 통해 가속기와 통신하고, 데이터를 가속기의 메모리에 복사한 다음 메시지를 보내 결과를 기다렸다. 이러한 모델은 구성 요소들이 더 독립적으로 작동하던 시기에는 실용적이었지만, 공유 데이터의 규모와 처리 단계의 수가 증가하면서 더욱 복잡해진다.
이 문제는 엣지 인공지능 시스템에서 더욱 분명하게 나타난다. 시스템이 하나의 SoC 안에 범용 프로세서와 인공지능 가속기를 통합하거나, 멀티다이 칩을 사용하는 설계 안에서 둘을 연결할 수 있기 때문이다. 이 경우 결과가 애플리케이션에 도달하기 전에 데이터가 여러 단계를 거치며, 조정 및 제어 정보는 관련 구성 요소가 올바른 버전으로 이용할 수 있어야 한다.
메모리 일관성은 공유 데이터가 주 메모리에 있든 캐시에 있든 칩 수준에서 통일된 관점을 유지하는 기술이다. 소프트웨어가 변경 사항을 추적하고 사본이 업데이트되었는지 확인하는 대신, 일관성 있는 인터커넥트와 메모리 시스템이 이 작업의 일부를 담당한다.
실제로 무엇이 달라지는가?
핵심 결과는 모든 복사 작업을 없애거나 모든 통신을 동일하게 만드는 것이 아니라, 서로 다른 구성 요소의 작업을 조정하는 데 필요한 소프트웨어 로직의 양을 줄이는 것이다. 하드웨어가 공유 데이터의 상태를 관리하면 소프트웨어는 각 구성 요소가 오래된 사본을 읽는지 업데이트된 사본을 읽는지 추적하는 대신 애플리케이션 로직과 작업 스케줄링에 더 집중할 수 있다.
이러한 전환은 소프트웨어를 더 단순하고 개발하기 쉽게 만들 수 있으며, 실행 중 발견하기 어려운 오류도 줄일 수 있다. 이 글은 이러한 접근 방식을 소프트웨어 개발 속도 및 신뢰성과 연결하지만, 성능이나 개발 시간의 개선 정도를 측정한 수치는 제시하지 않는다. 따라서 정량적 이점을 본문만으로 확정할 수는 없다.
필요한 곳에 적용하는 일관성
이 글은 모든 데이터 이동에 일관성을 적용하는 것이 최선의 설계라고 보지 않는다. 대역폭이 높은 스트림이 항상 메모리 일관성을 필요로 하는 것은 아니지만, 처리 장치 간 시스템 작동을 조정하는 정보에는 이 메커니즘이 필요하다. 따라서 제시된 주장에 따르면 대부분의 인공지능 칩은 일관성 있는 인터커넥트와 비일관성 인터커넥트를 조합해 사용한다.
여러 처리 장치가 동일한 데이터나 상태를 공유할 때는 일관성 있는 인터커넥트를 사용하고, 공유된 관점이 필요하지 않은 데이터는 비일관성 인터커넥트를 통해 전송할 수 있다. 이러한 분할을 통해 설계자는 모든 경로에 일관성 비용을 부과하는 대신 대역폭, 지연 시간, 전력 소비 요구 사항에 맞춰 나머지 통신을 최적화할 수 있다.
멀티다이 설계의 중요성
이 개념은 더 큰 칩을 서로 정보를 교환하는 여러 다이로 나누는 멀티다이 시스템으로 확장된다. 이 글은 다이 간 일관성을 유지하면 공유 데이터 조정의 책임을 전적으로 소프트웨어로 되돌리지 않고도 이기종 시스템을 확장하는 데 도움이 될 수 있다고 말한다.
Arteris는 이와 관련해 자사 포트폴리오의 세 가지 구성 요소를 언급한다. FlexNoC는 비일관성 통신을 위한 것이고, FlexGen은 첨단 칩과 멀티다이 시스템에서 고성능 NoC 네트워크 설계를 자동화하며, Ncore는 일관성 있는 인터커넥트 패브릭을 제공한다. 이러한 언급은 회사 제품 안에서 해당 기술이 차지하는 위치를 설명하지만, 새로운 출시 발표나 시장 솔루션 간의 독립적인 비교를 의미하지는 않는다.
이 소식이 중요한 이유
이 주장의 가장 두드러진 아키텍처적 가치는 소프트웨어를 단순화하기 위해 더 많은 트랜지스터를 할당하는 것이 반드시 낭비로 간주되지는 않는다는 점이다. 인공지능 시스템이 범용 프로세서, 가속기, 멀티다이 칩을 결합한 설계로 이동하면서 하드웨어와 소프트웨어 사이의 책임을 어떻게 배분할지는 확장성과 개발 편의성에 영향을 미치는 결정이 된다.
그러나 실질적인 질문은 일관성을 위해 어느 정도의 추가 하드웨어를 할당할 가치가 있으며, 면적, 전력, 설계, 검증에서 불필요한 비용이 발생하지 않도록 어디에서 중단해야 하는가이다. 이 글은 공유 데이터와 비공유 데이터를 구분하는 원칙을 제시하지만, 이 결정을 내리기 위한 정량적 기준을 정하지 않으며, 일관성 있는 접근 방식과 더 큰 소프트웨어 관리에 의존하는 접근 방식을 비교한 테스트 결과나 검증된 사용 사례도 제시하지 않는다.