중앙 집중식 클라우드 서비스에 전적으로 의존하는 대신 장치 자체 또는 장치와 가까운 곳에서 AI 추론을 실행하는 것.
Microsoft는 고객이 소유한 장치와 환경에서 인공지능을 실행하면 모델, 데이터, 키가 서비스 제공업체의 직접적인 통제 밖에서 작동하기 때문에 신뢰 모델이 바뀐다고 설명한다. Microsoft는 실행 환경의 무결성 증명, 구성 요소 출처 검증, 모델의 행위에 대한 결정론적 중재 강제, 증거와 정책을 충족한 후에만 민감한 자산을 공개하는 네 가지 기둥을 제안한다.
Expedera의 샤라드 촐은 엣지 디바이스가 기존 비전 네트워크에서 LLM 및 VLM으로 전환하면서 병목의 성격이 연산 능력에서 메모리 이동으로 바뀌는 과정을 분석한다. 또한 패킷 기반 처리가 외부 데이터 전송을 줄이고 차량 및 임베디드 디바이스에서 모델 실행을 개선하는 역할을 설명한다.
NVIDIA는 Jetson 플랫폼이 엣지에서 인공지능과 로봇을 실행하는 역량을 소개했다. 초기 프로젝트를 위한 Jetson Orin Nano Super부터 더 복잡한 워크로드를 위한 Jetson AGX Thor까지 다룬다. 회사의 게시물은 자율주행, 음성 비서, 멀티모달 로봇을 비롯한 적용 사례를 제시한다.