Produits

High Bandwidth Memory

Suivez les dernières actualités, explications et histoires technologiques associées.

Dernières actualités

CN
La mémoire flash à haute bande passante pourrait réduire jusqu’à 87 % le temps de service des grands modèles de langage

La mémoire flash à haute bande passante pourrait réduire jusqu’à 87 % le temps de service des grands modèles de langage

Un article de l’UC Berkeley et de FuriosaAI étudie l’utilisation de la mémoire flash à haute bande passante pour étendre la mémoire des accélérateurs d’intelligence artificielle lors de l’exécution de grands modèles de langage. Les simulations indiquent une réduction du temps d’achèvement pouvant atteindre 87 %, ainsi que des améliorations potentielles de la consommation d’énergie et de la durée de vie en écriture grâce à une planification tenant compte de la mémoire cache.

CN
Pourquoi les substrats de packaging avancé s’orientent-ils vers des conceptions spécialisées pour chaque application ?

Pourquoi les substrats de packaging avancé s’orientent-ils vers des conceptions spécialisées pour chaque application ?

La capacité de production des substrats ne suffit plus à répondre aux besoins du packaging avancé ; la taille du boîtier, le nombre de couches, la précision des interconnexions et les fonctions intégrées rendent chaque conception plus proche d’un processus de fabrication spécialisé. Cela influe sur les matériaux, les équipements, la qualification et les sources d’approvisionnement, en particulier pour les boîtiers destinés à l’intelligence artificielle, au calcul haute performance, à l’optique intégrée et à l’automobile.

CN
REACH propose une architecture moins coûteuse pour protéger la HBM contre les erreurs mémoire lors de l’inférence de modèles d’IA

REACH propose une architecture moins coûteuse pour protéger la HBM contre les erreurs mémoire lors de l’inférence de modèles d’IA

Des chercheurs du Rensselaer Polytechnic Institute et d’IBM ont présenté l’architecture REACH pour gérer des codes de correction d’erreurs à longue portée au sein d’un contrôleur HBM, en visant à réduire le coût du décodage dans les charges d’inférence de grands modèles de langage. L’idée repose sur des codes internes pour les erreurs courantes et sur un code externe pour corriger les parties connues comme étant effacées.