Executar inferência de inteligência artificial no dispositivo ou próximo dele, em vez de depender totalmente de um serviço de nuvem centralizado.
A Microsoft explica que executar inteligência artificial em dispositivos e ambientes pertencentes ao cliente muda o modelo de confiança, porque os modelos, os dados e as chaves operam fora do controle direto do provedor de serviços. A empresa propõe quatro pilares: comprovar a integridade do ambiente de execução, verificar a origem dos componentes, impor mediação determinística sobre as ações do modelo e não liberar ativos sensíveis até que as evidências e as políticas sejam atendidas.
Sharad Chol, da Expedera, analisa como a migração dos dispositivos de borda das redes de visão tradicionais para modelos LLM e VLM altera a natureza do gargalo, que passa da capacidade computacional para o movimento de memória. Ele apresenta o papel do processamento baseado em pacotes na redução da transferência externa de dados e na melhoria da execução de modelos em carros e dispositivos incorporados.
A NVIDIA apresentou as capacidades da plataforma Jetson para executar inteligência artificial e robótica na borda, começando pelo Jetson Orin Nano Super para os primeiros projetos e chegando ao Jetson AGX Thor para cargas de trabalho mais complexas. A publicação da empresa apresenta exemplos de aplicação que incluem condução autônoma, assistentes de voz e robôs multimodais.