Termes

Cache KV

Mémoire utilisée lors de l’exécution de modèles de langage pour conserver les clés et les valeurs du contexte, pouvant devenir une charge importante avec les contextes longs.

Dernières actualités

CN
Pourquoi les modèles d’IA à poids ouverts redéfinissent la conception matérielle

Pourquoi les modèles d’IA à poids ouverts redéfinissent la conception matérielle

Les modèles d’intelligence artificielle à poids ouverts offrent aux organisations une plus grande flexibilité pour l’exécution locale et réduisent leur dépendance aux fournisseurs de services, mais ils n’impliquent pas automatiquement l’accès aux données d’entraînement, au code ou aux droits d’utilisation. Une analyse de Semiconductor Engineering souligne que leur impact s’étend à la conception de la mémoire, aux interconnexions, à la sécurité et aux flux de travail des outils de conception de puces.

CN
La mémoire flash à haute bande passante pourrait réduire jusqu’à 87 % le temps de service des grands modèles de langage

La mémoire flash à haute bande passante pourrait réduire jusqu’à 87 % le temps de service des grands modèles de langage

Un article de l’UC Berkeley et de FuriosaAI étudie l’utilisation de la mémoire flash à haute bande passante pour étendre la mémoire des accélérateurs d’intelligence artificielle lors de l’exécution de grands modèles de langage. Les simulations indiquent une réduction du temps d’achèvement pouvant atteindre 87 %, ainsi que des améliorations potentielles de la consommation d’énergie et de la durée de vie en écriture grâce à une planification tenant compte de la mémoire cache.

CN
Microsoft : le critère du progrès en intelligence artificielle doit être le « rendement utile », et non la taille de l’infrastructure

Microsoft : le critère du progrès en intelligence artificielle doit être le « rendement utile », et non la taille de l’infrastructure

Rani Borkar, de Microsoft, estime que le succès de l’infrastructure d’intelligence artificielle ne se mesure pas au nombre de puces ou de tokens traités, mais à la quantité d’intelligence utile produite par unité d’énergie, de mémoire et d’investissement. Elle appelle à une conception intégrée s’étendant des centres de données et des puces aux modèles, aux logiciels et aux agents.

CN
Pourquoi les unités NPU doivent être repensées à mesure que l’IA périphérique adopte les modèles LLM

Pourquoi les unités NPU doivent être repensées à mesure que l’IA périphérique adopte les modèles LLM

Sharad Chol, d’Expedera, analyse comment le passage des appareils périphériques des réseaux de vision traditionnels aux modèles LLM et VLM modifie la nature du goulet d’étranglement, qui passe de la puissance de calcul aux mouvements de mémoire. Il présente le rôle du traitement fondé sur les paquets dans la réduction des transferts de données externes et l’amélioration de l’exécution des modèles dans les voitures et les appareils embarqués.