Les opérations d'inférence des grands modèles de langage (LLM) font face à un défi croissant : le besoin de capacités mémoire immenses pour accueillir des modèles massifs et des tailles de lots (Batch sizes) en constante augmentation. Bien que la mémoire à large bande (HBM) offre une vitesse supérieure, sa capacité reste limitée et coûteuse. C'est ainsi qu'est apparue l'idée d'utiliser la mémoire flash à large bande (High-Bandwidth Flash - HBF) comme alternative, mais elle s'est heurtée à l'obstacle d'une latence élevée.
Le compromis difficile : capacité contre vitesse
La technologie HBF repose sur le remplacement des puces DRAM de la mémoire HBM par des puces NAND flash, offrant une capacité de stockage jusqu'à 16 fois supérieure avec la même bande passante de lecture. Cependant, cette avancée a un coût technique élevé ; la latence de lecture dans la HBF atteint environ 20 microsecondes, ce qui équivaut à 20 fois la latence de la HBM traditionnelle. Cet écart ralentit les opérations d'inférence jusqu'à 12,8 fois lors de l'accès direct aux données depuis la HBF.
Comment la technologie SlipStream comble-t-elle cet écart ?
Une équipe de recherche conjointe de NVIDIA et des universités de Stanford et Georgia Tech a présenté un article de recherche intitulé "SlipStream", une technologie basée sur une co-conception logiciel-matériel (Software-hardware co-design) pour transformer le processus de préchargement des données (Prefetching) en une ligne de production fonctionnant sur un système "producteur-consommateur".
Le mécanisme de fonctionnement repose sur deux niveaux :
- Au niveau logiciel : La technologie analyse l'ordre de demande des pages de poids (Weight-pages) répétées dans les noyaux (Kernels) des modèles de langage, puis insère une "étape de préparation" (Staging warp) qui réexécute cet ordre en utilisant des instructions non bloquantes (Non-blocking STAGE instructions).
- Au niveau matériel : Le "Staging warp" agit comme un producteur de données, tandis que les "Work warps" agissent comme des consommateurs. Le génie technique réside ici dans le suivi de pages de 4 kilo-octets au lieu des lignes de cache traditionnelles, ce qui réduit considérablement la consommation de mémoire SRAM.
Qu'est-ce qui change concrètement en termes de performances ?
Les tests effectués sur sept modèles denses, dont les capacités varient entre 16 et 800 Go, ont démontré la supériorité écrasante de la technologie SlipStream sur les conceptions actuelles comme H3. Alors que la conception H3 nécessitait une mémoire cache massive atteignant 320 Mo pour atteindre seulement 43,1 % de la performance idéale, SlipStream a réussi à atteindre 92,4 % de la performance idéale en utilisant seulement 40 Mo de mémoire cache.
Plus important encore, la taille de la mémoire requise dans SlipStream ne dépend pas de la latence de la HBF ou du type de charge de travail, ce qui en fait une solution flexible et évolutive. La technologie a également prouvé son efficacité dans la prise en charge des modèles de "mélange d'experts" (Mixture-of-Experts - MoE), atteignant 91,2 % de la performance idéale, ce qui ouvre de nouvelles perspectives pour l'exécution des plus grands modèles d'intelligence artificielle avec un coût moindre et des capacités de stockage beaucoup plus importantes.