Términos

Caché KV

Memoria utilizada durante la ejecución de modelos de lenguaje para conservar las claves y los valores del contexto, que puede convertirse en una carga importante con contextos largos.

Última cobertura

CN
¿Por qué los modelos de inteligencia artificial con pesos abiertos están reformulando el diseño del hardware?

¿Por qué los modelos de inteligencia artificial con pesos abiertos están reformulando el diseño del hardware?

Los modelos de inteligencia artificial con pesos abiertos ofrecen a las organizaciones mayor flexibilidad para operar localmente y reducir su dependencia de los proveedores de servicios, pero no implican automáticamente el acceso a los datos de entrenamiento, el código o los derechos de uso. Un análisis de Semiconductor Engineering destaca que su impacto se extiende al diseño de la memoria, la interconexión, la seguridad y los flujos de trabajo de las herramientas de diseño de chips.

CN
La memoria flash de alto ancho de banda podría reducir hasta un 87 % el tiempo de servicio de los modelos de lenguaje grandes

La memoria flash de alto ancho de banda podría reducir hasta un 87 % el tiempo de servicio de los modelos de lenguaje grandes

Un artículo de UC Berkeley y FuriosaAI analiza el uso de High Bandwidth Flash para ampliar la memoria de los aceleradores de inteligencia artificial al ejecutar modelos de lenguaje grandes. Las simulaciones indican una reducción de hasta el 87 % en el tiempo de finalización, con posibles mejoras en el consumo de energía y una prolongación de la vida útil de escritura mediante una planificación consciente de la caché.

CN
Microsoft: el criterio del progreso en inteligencia artificial debe ser el «rendimiento útil», no el tamaño de la infraestructura

Microsoft: el criterio del progreso en inteligencia artificial debe ser el «rendimiento útil», no el tamaño de la infraestructura

Rani Borkar, de Microsoft, considera que el éxito de la infraestructura de inteligencia artificial no se mide por el número de chips o tokens procesados, sino por la cantidad de inteligencia útil generada por cada unidad de energía, memoria e inversión. Aboga por un diseño integral que abarque desde los centros de datos y los chips hasta los modelos, el software y los agentes.

CN
Por qué las unidades NPU necesitan un rediseño a medida que la IA periférica adopta modelos LLM

Por qué las unidades NPU necesitan un rediseño a medida que la IA periférica adopta modelos LLM

Sharad Chol, de Expedera, analiza cómo la transición de los dispositivos periféricos desde las redes de visión tradicionales hacia modelos LLM y VLM está cambiando la naturaleza del cuello de botella: de la capacidad computacional al movimiento de datos en memoria. También presenta el papel del procesamiento basado en paquetes para reducir la transferencia externa de datos y mejorar la ejecución de modelos en automóviles y dispositivos integrados.