Memoria utilizada durante la ejecución de modelos de lenguaje para conservar las claves y los valores del contexto, que puede convertirse en una carga importante con contextos largos.
Los modelos de inteligencia artificial con pesos abiertos ofrecen a las organizaciones mayor flexibilidad para operar localmente y reducir su dependencia de los proveedores de servicios, pero no implican automáticamente el acceso a los datos de entrenamiento, el código o los derechos de uso. Un análisis de Semiconductor Engineering destaca que su impacto se extiende al diseño de la memoria, la interconexión, la seguridad y los flujos de trabajo de las herramientas de diseño de chips.
Un artículo de UC Berkeley y FuriosaAI analiza el uso de High Bandwidth Flash para ampliar la memoria de los aceleradores de inteligencia artificial al ejecutar modelos de lenguaje grandes. Las simulaciones indican una reducción de hasta el 87 % en el tiempo de finalización, con posibles mejoras en el consumo de energía y una prolongación de la vida útil de escritura mediante una planificación consciente de la caché.
Rani Borkar, de Microsoft, considera que el éxito de la infraestructura de inteligencia artificial no se mide por el número de chips o tokens procesados, sino por la cantidad de inteligencia útil generada por cada unidad de energía, memoria e inversión. Aboga por un diseño integral que abarque desde los centros de datos y los chips hasta los modelos, el software y los agentes.
Sharad Chol, de Expedera, analiza cómo la transición de los dispositivos periféricos desde las redes de visión tradicionales hacia modelos LLM y VLM está cambiando la naturaleza del cuello de botella: de la capacidad computacional al movimiento de datos en memoria. También presenta el papel del procesamiento basado en paquetes para reducir la transferencia externa de datos y mejorar la ejecución de modelos en automóviles y dispositivos integrados.