NVIDIA는 Jetson 플랫폼을 실제 환경에서 인공지능 및 로봇 애플리케이션을 구축하기 위한 임베디드 환경으로 소개했다. 이 플랫폼은 이동해 교실, 연구실, 혁신 공간에서 사용할 수 있는 모듈과 개발 키트를 제공한다. 이번 소개는 벤처캐피털 기업 Conviction의 설립자이자 인공지능 팟캐스트 No Priors의 공동 진행자인 사라 구가 출연한 영상으로 진행됐으며, 그녀는 플랫폼이 연산 능력과 휴대성을 어떻게 결합하는지 설명했다.
NVIDIA에 따르면 Jetson 모듈과 개발 키트는 첨단 오픈 모델을 지원하면서 로봇, 자율 기계, 엣지 인공지능 프로젝트를 실행하도록 설계됐다. 또한 Jetson Device Skills와 Jetson BSP Skills 도구를 통해 학생, 연구자, 개발자는 소프트웨어 에이전트를 활용해 코드를 작성하고 최적화하며 엣지에 애플리케이션을 배포할 수 있다.
초기 프로젝트를 위한 Jetson Orin Nano Super
NVIDIA는 Jetson Orin Nano Super를 로봇 분야의 신규 개발자를 위한 실용적인 경로로 제시한다. 소형 개발 키트에 생성형 인공지능, 컴퓨터 비전, 에이전트 구축, 프로토타이핑 기능을 결합했다. 인공지능 처리 성능은 초당 67조 회(TOPS)에 달한다.
게시물은 여러 활용 사례를 소개한다. 여기에는 어린이용 전기차에서 자율적으로 주행 조작을 수행하는 SidewalkPilot 모델과, 클라우드나 API 키 또는 실행 중 인터넷 연결 없이 Reachy Mini Lite 로봇에서 로컬로 작동하는 음성·시각 기반 Reachy Mini Jetson Assistant가 포함된다. 또 다른 사례에서는 오픈 가중치 Mistral 모델을 사용해 인공지능 로봇을 구축하는 방법을 보여준다.
더 복잡한 작업을 위한 Jetson AGX Orin
Jetson AGX Orin은 초당 275조 회의 인공지능 처리 성능을 제공하며, 첨단 로봇, 자율 기계, 응용 연구 프로젝트를 대상으로 한다. NVIDIA에 따르면 컴퓨터 비전, 생성형 인공지능, 자율 내비게이션, 산업 자동화에 사용할 수 있다.
회사가 제시한 사례로는 카메라 피드를 통해 비전·언어 모델의 추론 결과를 실시간으로 스트리밍하는 웹 인터페이스와, 시간에 민감한 구조 시나리오에서 환경의 3차원 지도를 작성하고 생존자를 찾기 위해 카네기 멜런 대학교의 로봇 팀이 개발한 SMoRes 시스템이 있다.
더 큰 워크로드를 위한 Jetson AGX Thor
Jetson AGX Thor는 엣지에서 고급 실시간 추론이 필요한 차세대 휴머노이드 로봇과 자율 시스템을 대상으로 한다. 이 모듈은 FP4 기준 최대 2070테라플롭스의 인공지능 성능과 128기가바이트의 메모리를 제공한다.
NVIDIA는 일리노이 대학교 어배너-섐페인의 SIGRobotics 팀이 수행한 Matcha Bot 실험을 소개한다. 이 실험에서는 두 개의 로봇 팔이 NVIDIA Isaac GR00T N1.5 모델을 실행해 자율적으로 말차를 준비한다. 또한 Multimodal AI Studio 실험은 비전, 음성, 언어 입력을 결합하는 개발 환경을 제공해 엣지에서 멀티모달 인공지능 실험을 진행할 수 있도록 한다.
회사는 Jetson에서 생성형 인공지능 실행, 로봇 팔 제어 에이전트 구축, 비전·언어 모델 및 비전·언어·행동 모델을 물리적 인공지능 애플리케이션에 사용하는 방법을 다루는 세 개의 교육 모듈로 구성된 라이브 스트리밍 시리즈도 진행한다고 밝혔다.