Suivez les dernières actualités, explications et histoires technologiques associées.
Un article de l’UC Berkeley et de FuriosaAI étudie l’utilisation de la mémoire flash à haute bande passante pour étendre la mémoire des accélérateurs d’intelligence artificielle lors de l’exécution de grands modèles de langage. Les simulations indiquent une réduction du temps d’achèvement pouvant atteindre 87 %, ainsi que des améliorations potentielles de la consommation d’énergie et de la durée de vie en écriture grâce à une planification tenant compte de la mémoire cache.
La capacité de production des substrats ne suffit plus à répondre aux besoins du packaging avancé ; la taille du boîtier, le nombre de couches, la précision des interconnexions et les fonctions intégrées rendent chaque conception plus proche d’un processus de fabrication spécialisé. Cela influe sur les matériaux, les équipements, la qualification et les sources d’approvisionnement, en particulier pour les boîtiers destinés à l’intelligence artificielle, au calcul haute performance, à l’optique intégrée et à l’automobile.
Des chercheurs du Rensselaer Polytechnic Institute et d’IBM ont présenté l’architecture REACH pour gérer des codes de correction d’erreurs à longue portée au sein d’un contrôleur HBM, en visant à réduire le coût du décodage dans les charges d’inférence de grands modèles de langage. L’idée repose sur des codes internes pour les erreurs courantes et sur un code externe pour corriger les parties connues comme étant effacées.