Large Language Model Inference

REACH propose une architecture moins coûteuse pour protéger la HBM contre les erreurs mémoire lors de l’inférence de modèles d’IA

Des chercheurs du Rensselaer Polytechnic Institute et d’IBM ont présenté l’architecture REACH pour gérer des codes de correction d’erreurs à longue portée au sein d’un contrôleur HBM, en visant à réduire le coût du décodage dans les charges d’inférence de grands modèles de langage. L’idée repose sur des codes internes pour les erreurs courantes et sur un code externe pour corriger les parties connues comme étant effacées.