Mémoire utilisée lors de l’exécution de modèles de langage pour conserver les clés et les valeurs du contexte, pouvant devenir une charge importante avec les contextes longs.
Les modèles d’intelligence artificielle à poids ouverts offrent aux organisations une plus grande flexibilité pour l’exécution locale et réduisent leur dépendance aux fournisseurs de services, mais ils n’impliquent pas automatiquement l’accès aux données d’entraînement, au code ou aux droits d’utilisation. Une analyse de Semiconductor Engineering souligne que leur impact s’étend à la conception de la mémoire, aux interconnexions, à la sécurité et aux flux de travail des outils de conception de puces.
Un article de l’UC Berkeley et de FuriosaAI étudie l’utilisation de la mémoire flash à haute bande passante pour étendre la mémoire des accélérateurs d’intelligence artificielle lors de l’exécution de grands modèles de langage. Les simulations indiquent une réduction du temps d’achèvement pouvant atteindre 87 %, ainsi que des améliorations potentielles de la consommation d’énergie et de la durée de vie en écriture grâce à une planification tenant compte de la mémoire cache.
Rani Borkar, de Microsoft, estime que le succès de l’infrastructure d’intelligence artificielle ne se mesure pas au nombre de puces ou de tokens traités, mais à la quantité d’intelligence utile produite par unité d’énergie, de mémoire et d’investissement. Elle appelle à une conception intégrée s’étendant des centres de données et des puces aux modèles, aux logiciels et aux agents.
Sharad Chol, d’Expedera, analyse comment le passage des appareils périphériques des réseaux de vision traditionnels aux modèles LLM et VLM modifie la nature du goulet d’étranglement, qui passe de la puissance de calcul aux mouvements de mémoire. Il présente le rôle du traitement fondé sur les paquets dans la réduction des transferts de données externes et l’amélioration de l’exécution des modèles dans les voitures et les appareils embarqués.