Samsung présente une feuille de route HBM en trois phases : passage à une véritable technologie ZHBM 3D, avec empilement direct de DRAM sur la puce de calcul.

La feuille de route de Samsung pour l'évolution de la mémoire HBM en trois étapes vise à aboutir à l'architecture « zHBM », qui empile verticalement la DRAM au-dessus des puces de calcul. Samsung affirme que la zHBM offre une réduction de 70 % de la consommation d'énergie et une augmentation de 230 % de la bande passante par rapport à la HBM4E, tout en libérant 100 W de marge thermique supplémentaire pour le GPU.

Lors de la récente conférence technologique Hot Chips, Sangwook Han, de l'équipe de conception DRAM de Samsung, a présenté la feuille de route en trois étapes de Samsung pour l'évolution de la mémoire HBM. Cette feuille de route aboutit à une architecture inédite appelée zHBM, qui empile directement et verticalement la DRAM sur des puces de calcul telles que les GPU et les TPU, éliminant ainsi l'interposeur 2.5D.

Selon un rapport de wccftech du 23 août, Samsung a déclaré que par rapport à la HBM4E standard, la solution zHBM permettrait une réduction de 70 % de la consommation d'énergie, une augmentation de 230 % de la bande passante DRAM et une économie d'énergie de 100 W par module DRAM, tout en libérant 8,3 % de marge de puissance supplémentaire pour le GPU.

Qu’est-ce que le HBM et où se situent les goulots d’étranglement ?

La mémoire HBM, ou mémoire à large bande passante, est l'un des composants de stockage les plus critiques des systèmes actuels d'entraînement et d'inférence en IA. Elle se compose de deux types de puces :

Puce C (puce centrale) : Contient des cellules de mémoire DRAM et peut être empilée verticalement jusqu'à 16 couches.

Puce B (puce de base) : Située au bas de la structure de la pile, elle est responsable de la gestion de diverses fonctions de contrôle de la DRAM et de la communication avec les puces informatiques telles que les GPU via la couche d'interface physique (PHY).

Les deux sont connectés via un TSV (Through-Silicon Via) – un canal conducteur vertical qui traverse la puce.

Selon Wccftech, la bande passante de chaque pile HBM4 dépasse actuellement 3 To/s, la HBM4E va encore plus loin jusqu'à atteindre 4 To/s, et la HBM5 double la bande passante de la HBM4, avec une capacité dépassant 60 Go.

Cependant, l'augmentation continue de la bande passante se heurte à deux contraintes majeures : les limites physiques du nombre et de l'espacement des TSV , et la limite supérieure du nombre et de la vitesse des E/S de l'interface PHY au sein de la puce de base . Parallèlement, l'écart de génération de procédés entre la puce de base et la puce de calcul (xPU SoC) se réduit progressivement, ce qui représente à la fois un défi et un point d'entrée dans la stratégie de Samsung.

Phase 1 : Faire de la place pour les puces informatiques

L'objectif principal de la première phase de la feuille de route de Samsung est de « récupérer » la surface de silicium occupée par les xPU (puces informatiques) .

Samsung a appliqué les procédés de gravure D1c et 4 nm à la puce de base HBM4 (B-die), principalement pour réduire la consommation d'énergie et la surface active. Ceci marque le début d'une véritable intégration de la DRAM et des procédés logiques avancés.

Les mesures spécifiques comprennent :

Le remplacement de la couche physique HBM traditionnelle par une interface D2D raccourcit la longueur du canal, améliorant directement l'efficacité énergétique, tout en libérant un espace précieux sur le silicium pour l'unité XPU.

Le déchargement du contrôleur de mémoire de l'XPU vers la puce B du cHBM devrait libérer de 5 % à 10 % de la surface de l'XPU, ce qui correspond à une amélioration des performances de 10 % à 20 %.

Introduction d'un schéma de réparation à grain fin basé sur la SRAM (Near-MC SRAM-Based Cell Repair), utilisant l'espace inactif sur la puce B pour déployer les ressources de réparation SRAM.

L'un des effets secondaires de la réduction de la surface est l'apparition de points chauds. Pour y remédier, Samsung a introduit la technologie Heat Path Block (HPB), basée sur la solution cHBM4, qui permet de réduire les pics de température de plus de 35 % et de couvrir 50 % de la surface PHY.

Phase deux : La puce B commence à gagner en puissance de calcul

La deuxième phase s'est concentrée non plus sur la « création d'espace », mais sur « l'ajout de fonctionnalités », que Samsung définit comme la phase d'expansion des fonctionnalités .

Augmentation de la capacité mémoire. Face à l'expansion considérable de la fenêtre de contexte des grands modèles d'IA, la demande en caches de clés-valeurs (la zone mémoire utilisée pour stocker les états intermédiaires lors de l'inférence du modèle) croît de façon exponentielle. Samsung prévoit d'intégrer un contrôleur d'extension de mémoire et une couche physique (PHY) sur la zone de silicium inutilisée de la puce de base, augmentant ainsi la capacité mémoire disponible du système grâce à des solutions externes LPDDR ou HBM.

Unités de traitement intégrées (PE). Samsung a également proposé d'intégrer certains éléments de traitement (éléments de traitement) sur la puce de base, déchargeant ainsi la mémoire de certains calculs qui seraient autrement effectués par l'unité de traitement étendue (xPU). Cette approche permet de réduire la bande passante requise pour les communications direct-à-diffusion (D2D), la consommation d'énergie et la dissipation thermique. Ce format est appelé AHBM (Advanced HBM).

Améliorer la fiabilité et les capacités de test. La deuxième phase comprend également l'intégration de capteurs RAS (Fiabilité, Disponibilité, Maintenance) avancés et de fonctions de télémétrie en temps réel, ainsi que de capacités d'autotest sur puce (ATIP), dans la puce de base afin d'améliorer le rendement et la couverture des tests.

Phase 3 : zHBM – Suppression de la couche interposeuse, la DRAM est directement appliquée sur la puce de calcul.

La troisième phase est la forme ultime de la feuille de route complète : zHBM .

Les systèmes d'IA classiques actuels utilisent une architecture d'encapsulation 2.5D, où le GPU et la mémoire HBM sont placés côte à côte sur le même interposeur, transmettant les données via des interconnexions horizontales. L'approche zHBM consiste à intégrer verticalement cette structure en empilant la DRAM directement sur la puce xPU, formant ainsi une véritable intégration verticale 3D.

Samsung décrit les principales caractéristiques de zHBM comme étant les suivantes :

E/S distribuées : Minimisation de la distance de transfert de données au sein de la pile HBM

Structure 3D : Élimine les interfaces 2D traditionnelles, améliorant considérablement l'efficacité du système.

La consommation d'énergie cible des E/S est d'environ 0,5 pJ/bit : obtenue en supprimant les modules redondants tels que SerDes.

La bande passante a été multipliée par plus de 2,3, la marge thermique du système atteint 100 W.

La solution de démonstration de Samsung consistait à empiler une couche zHBM quadruple sur un XPU.

Pour atteindre ces objectifs, Samsung développe deux technologies d'encapsulation clés : WoW (Wafer on Wafer) et HCB (Hybrid Cube Bonding) afin d'obtenir une densité d'E/S ultra-élevée et de construire à terme un système de co-conception SoC-DRAM unifié.

La logique fondamentale qui sous-tend la feuille de route

L'objectif principal de la présentation de Samsung était de repositionner la puce de base HBM, passant d'une « station de transfert de données passive » à un « partenaire intelligent doté de capacités informatiques proactives ».

La logique d'évolution des trois étapes est claire : premièrement, la surface est réduite et l'espace xPU est libéré grâce à des mises à niveau de processus (première étape) ; ensuite, davantage de fonctions sont intégrées et la capacité et la puissance de calcul sont augmentées en utilisant l'espace libéré (deuxième étape) ; enfin, l'architecture du système est entièrement reconstruite grâce à une intégration verticale 3D, réalisant simultanément des percées en matière de consommation d'énergie, de bande passante et de gestion thermique (troisième étape).

Dans ses remarques finales, Samsung a déclaré : « En maîtrisant l'encapsulation avancée et la co-conception unifiée SoC-DRAM, nous surmonterons les goulots d'étranglement en matière de consommation d'énergie, de surface et de capacité qui contraignent les systèmes d'IA, ouvrant la voie à une efficacité accrue, à des performances supérieures et à une plus grande évolutivité dans les années à venir. »