A NVIDIA apresentou a plataforma Jetson como um ambiente integrado para construir aplicações de inteligência artificial e robótica no mundo real, com módulos e kits de desenvolvimento que podem ser transportados e usados em salas de aula, laboratórios e espaços de inovação. A apresentação ocorreu em um vídeo no qual Sarah Gu, fundadora da empresa de capital de risco Conviction e coapresentadora do podcast de inteligência artificial No Priors, explicou como a plataforma combina capacidade computacional e portabilidade.
A NVIDIA afirma que os módulos Jetson e os kits de desenvolvimento são destinados à execução de robôs, máquinas autônomas e projetos de inteligência artificial de borda, com suporte a modelos abertos avançados. As ferramentas Jetson Device Skills e Jetson BSP Skills também permitem que estudantes, pesquisadores e desenvolvedores usem agentes de software para ajudar a escrever e otimizar código e implantar aplicações na borda.
Jetson Orin Nano Super para os primeiros projetos
A NVIDIA oferece o módulo Jetson Orin Nano Super como um caminho prático para novos desenvolvedores de robótica, reunindo em um pequeno kit de desenvolvimento recursos para inteligência artificial generativa, visão computacional, construção de agentes e prototipagem. Sua capacidade de processamento de inteligência artificial chega a 67 trilhões de operações por segundo (TOPS).
A publicação apresenta vários exemplos de uso, entre eles o modelo SidewalkPilot, que executa manobras autonomamente em um carro elétrico infantil personalizado, e o assistente de voz e visão Reachy Mini Jetson Assistant, que funciona localmente no robô Reachy Mini Lite, sem nuvem, chaves de interfaces de programação de aplicações ou conexão com a internet durante a operação. Outro exemplo mostra a construção de um robô com inteligência artificial usando o modelo Mistral de pesos abertos.
Jetson AGX Orin para trabalhos mais complexos
A capacidade do Jetson AGX Orin chega a 275 trilhões de operações de inteligência artificial por segundo, tendo como alvo projetos avançados de robótica, máquinas autônomas e pesquisa aplicada. Segundo a NVIDIA, ele pode ser usado em visão computacional, inteligência artificial generativa, navegação autônoma e automação industrial.
Entre os exemplos citados pela empresa está uma interface web para transmitir, em tempo real, a inferência de um modelo de visão e linguagem por meio do feed da câmera, além do sistema SMoRes, desenvolvido por uma equipe de robótica da Universidade Carnegie Mellon para mapear o ambiente em três dimensões e procurar sobreviventes em cenários de resgate sensíveis ao tempo.
Jetson AGX Thor para cargas de trabalho maiores
O Jetson AGX Thor tem como alvo a próxima geração de robôs humanoides e sistemas autônomos que precisam de inferência avançada em tempo real na borda. O módulo oferece até 2070 teraflops de capacidade de inteligência artificial de acordo com o padrão FP4, além de 128 gigabytes de memória.
A NVIDIA apresenta a experiência Matcha Bot, realizada pela equipe SIGRobotics da Universidade de Illinois em Urbana-Champaign, usando dois braços robóticos que executam o modelo NVIDIA Isaac GR00T N1.5 para preparar matcha autonomamente. A empresa também apresenta a experiência Multimodal AI Studio, um ambiente de desenvolvimento que reúne entradas de visão, áudio e linguagem para realizar experimentos de inteligência artificial multimodal na borda.
A empresa menciona uma série de transmissões ao vivo composta por três módulos educacionais para executar inteligência artificial generativa, construir agentes de controle de braços e usar modelos de visão e linguagem e modelos de visão, linguagem e ação em aplicações de inteligência artificial física no Jetson.