Ejecución de inferencia de inteligencia artificial en el dispositivo o cerca de él, en lugar de depender completamente de un servicio en la nube centralizado.
Microsoft explica que ejecutar inteligencia artificial en dispositivos y entornos propiedad del cliente cambia el modelo de confianza, porque los modelos, los datos y las claves funcionan fuera del control directo del proveedor del servicio. Propone cuatro pilares: demostrar la integridad del entorno de ejecución, verificar el origen de los componentes, imponer una mediación determinista sobre las acciones del modelo y no liberar activos sensibles hasta cumplir las evidencias y políticas.
Sharad Chol, de Expedera, analiza cómo la transición de los dispositivos periféricos desde las redes de visión tradicionales hacia modelos LLM y VLM está cambiando la naturaleza del cuello de botella: de la capacidad computacional al movimiento de datos en memoria. También presenta el papel del procesamiento basado en paquetes para reducir la transferencia externa de datos y mejorar la ejecución de modelos en automóviles y dispositivos integrados.
NVIDIA presentó las capacidades de la plataforma Jetson para ejecutar inteligencia artificial y robótica en el borde, desde Jetson Orin Nano Super para los primeros proyectos hasta Jetson AGX Thor para las cargas de trabajo más complejas. La publicación de la empresa muestra ejemplos de aplicación que incluyen conducción autónoma, asistentes de voz y robots multimodales.