HBM4 représente un tournant dans la conception de la mémoire à large bande passante, car il permet de remplacer la puce logique de base standard par une autre personnalisée pour certaines charges de travail ou certains processeurs. Cela donne notamment aux entreprises de cloud à très grande échelle la possibilité d’adapter la mémoire à leurs unités de traitement XPU personnalisées, plutôt que de se contenter d’un produit standard disponible pour tous.
Cela ne signifie pas l’apparition d’un nouveau produit uniforme pouvant être acheté de la même manière que les boîtiers HBM traditionnels. Chaque implémentation de mémoire personnalisée, ou cHBM, nécessite un accord définissant qui conçoit la puce de base, qui la fabrique et teste la puce, qui intègre les couches mémoire et qui effectue le test final. Selon l’article, les réponses varieront en fonction du projet et des clients concernés.
Qu’est-ce qui a changé avec HBM4 ?
Un boîtier HBM se compose de plusieurs couches, dont la plupart sont des puces mémoire, tandis qu’une puce logique située en bas assure la gestion, l’adressage et les fonctions de contrôle au sein du boîtier. Jusqu’à HBM3, les fabricants de mémoire, notamment Micron, Samsung et SK hynix, concevaient et fabriquaient toutes les puces, y compris la puce de base.
Avec HBM4, la puce de base est passée à des procédés de fabrication logique plus avancés, au lieu d’utiliser un procédé proche de ceux de la DRAM. Elle devrait probablement reposer sur un nœud de 4 nanomètres ou plus récent, tandis que les puces DRAM elles-mêmes ne passeront pas à ces procédés. Une fonderie logique peut donc fabriquer la puce de base, puis le fabricant de mémoire se charge de l’assemblage et du test du boîtier dans la version standard.
HBM4 et les générations ultérieures ajoutent la possibilité de remplacer cette puce standard par une puce personnalisée. Les couches mémoire elles-mêmes ne changent pas nécessairement ; la personnalisation se concentre plutôt sur la logique de contrôle, les interfaces et les fonctions de gestion, ce qui permet d’adapter le boîtier à la conception du système.
Pourquoi la personnalisation cible-t-elle les entreprises de cloud à très grande échelle ?
L’utilisation de HBM standard nécessite l’achat de modules prêts à l’emploi, tandis que la personnalisation transforme l’acquisition de mémoire en un projet de conception nécessitant un financement, une équipe, des outils et du temps. C’est pourquoi les entreprises de cloud à très grande échelle semblent être les candidates les plus évidentes : elles disposent des ressources nécessaires et leurs charges de travail liées à l’intelligence artificielle sont plus spécialisées que celles des serveurs web généralistes.
Ces entreprises peuvent affecter de grands groupes de machines à un type précis de tâches, ce qui rend plus pertinent l’ajustement conjoint du processeur et de la mémoire. En outre, le rythme d’évolution du calcul pour l’intelligence artificielle est plus rapide que celui de l’élaboration des normes. Khurram Malik, de Marvell, a indiqué que la lenteur de JEDEC en matière de normalisation ne suit pas la vitesse d’action des entreprises de cloud à très grande échelle ; la personnalisation pourrait donc leur permettre de répondre aux nouvelles charges de travail sans attendre une norme officielle.
Des entreprises traditionnelles ont également commencé à évaluer la construction de leurs propres unités XPU, mais cette tendance en est encore à ses débuts. Marvell fournit un exemple concret par l’intermédiaire de sa division consacrée au cloud personnalisé, où elle développe des unités XPU pour ses clients et cherche à concevoir une version HBM personnalisée capable de répondre aux exigences de plusieurs clients, plutôt que de construire une solution entièrement distincte pour chacun.
Qu’est-ce qui change concrètement dans la conception de la puce ?
Lors de la personnalisation de la puce de base, le contrôleur mémoire passe de la puce du processeur hôte à l’intérieur de la puce de base de HBM. Il faut alors convenir du mode de connexion du processeur au contrôleur, que ce soit au moyen d’AXI, l’interface extensible d’Arm, ou d’une autre méthodologie. L’interface de communication entre le processeur et le boîtier mémoire peut également être optimisée pour le système.
Ce changement libère de l’espace sur la puce de traitement, car le contrôleur mémoire et l’interface PHY qui lui est associée n’ont plus besoin de piloter des signaux entre des puces distinctes selon la méthode traditionnelle. Malik a indiqué que le remplacement du DRAM PHY par une interface die-to-die telle qu’UCIe pourrait rendre le bloc de communication environ 70 % plus petit que le PHY standard et permettre d’augmenter de 25 % les capacités de calcul sur la puce du processeur, tout en réduisant la consommation d’énergie et en améliorant l’efficacité globale de l’XPU.
La puce de base personnalisée pourrait également offrir une plus grande surface de connexion, appelée « littoral » de la puce, ce qui permettrait de relier un plus grand nombre de boîtiers HBM et d’augmenter la capacité mémoire disponible pour les unités de calcul. La personnalisation pourrait aussi inclure des fonctions de fiabilité, de disponibilité et de maintenabilité, ainsi que la collecte et la gestion des données de télémétrie au sein du système.
Qui conçoit le boîtier et qui le fabrique ?
La conception semble être l’étape la plus difficile des quatre étapes du projet : conception, fabrication et test de la puce, assemblage et test final. Elle nécessite une équipe d’ingénierie, des outils et une vision claire de la manière dont l’augmentation ou la modification de la mémoire affectera les performances et la consommation d’énergie. Bien que les fabricants de mémoire disposent de l’expertise nécessaire, leurs ressources sont mobilisées pour répondre à la demande actuelle et ils ne disposent peut-être pas d’équipes dédiées à la réalisation d’un grand nombre de conceptions personnalisées.
La conception peut donc être prise en charge par le client de la mémoire lui-même, comme une entreprise de cloud à très grande échelle, ou par une entreprise de conception sans usine telle que Marvell. Même en réutilisant des blocs de conception prêts à l’emploi, il restera nécessaire d’effectuer des ajustements et des optimisations propres à chaque client, car les exigences des entreprises de cloud à très grande échelle ne sont pas identiques.
La fabrication et le test de la puce devraient avoir lieu dans une fonderie logique, qui pourrait ne pas être celle produisant la puce de base standard. L’accord du projet déterminera la partie responsable de l’assemblage. Dans le HBM4 standard, le fabricant de mémoire reçoit la puce logique testée, assemble le boîtier et teste le produit final. Dans le cas du cHBM, le fabricant de mémoire, la fonderie logique et une installation spécialisée dans l’assemblage pourraient se partager ces responsabilités, ou le client pourrait conserver une plus grande maîtrise de l’intégration.
TSMC a récemment annoncé une collaboration avec Winbond, dans laquelle Winbond fournit les puces mémoire et TSMC prend en charge l’assemblage du boîtier. Ce modèle indique que l’intégration des boîtiers pourrait ne plus rester limitée aux principaux fabricants de mémoire.
Le cHBM atténuera-t-il la pression liée à la pénurie de mémoire ?
Synopsys ne prévoit pas la réalisation de plus de 20 projets par an utilisant un empilement DRAM personnalisé alternatif, ce qui reflète les limites de cette approche. Le cHBM n’augmente pas nécessairement la demande totale du marché : la demande globale de mémoire comprendra des applications standard et personnalisées. L’effet dépend donc davantage de la composition des produits que d’une augmentation de la demande totale.
Néanmoins, l’accès à la mémoire reste difficile. Malik a indiqué que les usines des fournisseurs de mémoire avaient vendu leur capacité disponible pour environ un an et demi à deux ans, avec une hausse des prix. La planification de l’approvisionnement pourrait devenir plus complexe, car il est plus difficile de prévoir le nombre de projets personnalisés et leurs sites de fabrication que de planifier les boîtiers standard.
Pourquoi cette évolution est-elle importante ?
Le cHBM montre que la concurrence dans les systèmes d’intelligence artificielle ne porte pas uniquement sur l’augmentation de la capacité mémoire, mais aussi sur l’intégration de la mémoire, de l’unité de traitement et des interfaces dans une seule conception. Les boîtiers personnalisés pourraient atteindre les centres de données dans un délai d’un à deux ans pour les projets actuellement en cours, mais leur diffusion restera limitée par le coût de conception, la disponibilité des équipes d’ingénierie et la capacité des partenaires à assurer l’assemblage et les tests. L’avenir du marché semble donc reposer sur plusieurs modèles, et non sur une solution unique adaptée à tous les clients.