La industria de la inteligencia artificial ha experimentado una división clara en los desafíos de ingeniería que enfrenta; mientras que los centros de datos masivos y las fábricas de inteligencia artificial buscan procesar modelos de lenguaje grandes con parámetros masivos, surgen en contraste los desafíos de ejecutar modelos más pequeños localmente en dispositivos perimetrales (Edge Devices) que sufren de limitaciones de espacio, energía y memoria. El ancho de banda y el ancho de banda de la memoria de acceso aleatorio constituyen el principal obstáculo que impulsa innovaciones técnicas como la computación cuántica y las técnicas avanzadas de compresión.
Los dispositivos perimetrales varían enormemente e incluyen teléfonos móviles, dispositivos portátiles, electrodomésticos, Internet de las Cosas industrial, robótica y sistemas automotrices. En este contexto, los expertos señalan que el primer paso fundamental para diseñar un modelo de inteligencia artificial integrado y de tamaño adecuado radica en definir con precisión el propósito y las funciones del dispositivo de destino, ya que los modelos sobredimensionados pueden causar ralentización o sobrecalentamiento del dispositivo, mientras que los modelos demasiado pequeños dejan al producto con un nivel de inteligencia insuficiente para cumplir con los requisitos.
Estrategias de compresión y compensaciones de rendimiento
Los diseñadores de sistemas suelen depender de una combinación de técnicas de compresión en lugar de un solo enfoque, y estas estrategias incluyen:
- Destilación (Distillation): entrenar un modelo más pequeño llamado "estudiante" para imitar a un modelo más grande llamado "profesor", transfiriendo así los comportamientos aprendidos a una arquitectura más pequeña mientras se conservan las capacidades de inferencia básicas.
- Poda (Pruning): eliminar pesos, neuronas o capas de débil impacto, ya sea de forma estructurada o no estructurada.
- Cuantización (Quantization): utilizar un número menor de bits para los pesos y activaciones manteniendo la arquitectura de red y gestionando los límites de corrección para limitar la pérdida de precisión.
- Autocompresión (Self-compression): reducir gradualmente la precisión durante la fase de entrenamiento hasta poner a cero las rutas no influyentes, lo que permite apuntar de manera eficiente a dispositivos dedicados.
Definición de funciones y cargas de trabajo
El desafío no se limita únicamente a comprimir el modelo, sino que requiere una integración efectiva a nivel de todo el sistema. El modelo suele compartir memoria y capacidades informáticas con el resto de los componentes de la aplicación, lo que hace que los recursos disponibles sean efectivamente menores de lo que muestran las especificaciones teóricas. Esto requiere clasificar las funciones y priorizar entre funciones principales críticas y funciones opcionales, de modo que el núcleo de inteligencia artificial se construya cerca de los sensores locales dentro de un bucle sensorial autónomo.
¿Qué cambia en la práctica?
El enfoque en la ingeniería perimetral pasa del concepto de "el modelo más grande siempre gana" a la métrica de "experiencia por vatio". Las aplicaciones en sectores como el automotriz y los sistemas ciberfísicos muestran una necesidad urgente de equilibrar la latencia en tiempo real, el consumo de energía, el costo y la seguridad funcional, dado que los modelos de inteligencia artificial evolucionan a un ritmo más rápido que los ciclos de desarrollo del silicio.
Limitaciones y consideraciones de diseño futuro
Las empresas que desarrollan propiedad intelectual y tecnologías perimetrales enfrentan desafíos adicionales representados en la confidencialidad de los modelos en los que los clientes entrenan en sectores sensibles como la conducción autónoma por razones de seguridad y propiedad intelectual. Por lo tanto, el éxito del despliegue de la inteligencia artificial en el borde comienza identificando las cargas de trabajo y seleccionando la arquitectura con el tamaño adecuado desde el principio, apoyándose en el diseño flexible de sistemas para mantenerse al día con los rápidos desarrollos tanto en los modelos como en el hardware.