Bernstein analyse les sept mémoires : après le HBM, DRAM et NAND se disputent le prochain marché à mille milliards

Ces deux dernières années, le récit du marché du stockage IA s'est presque entièrement articulé autour du HBM. Mais à mesure que les grands modèles passent de l'entraînement à l'inférence à grande échelle, augmenter simplement le HBM ne suffit plus à résoudre tous les problèmes.

Bernstein souligne dans son dernier rapport mondial sur le stockage que les différentes charges de travail IA ont des exigences mémoire nettement distinctes : l'entraînement privilégie la puissance de calcul et la bande passante, la phase de décodage de l'inférence dépend davantage de la capacité, le RAG nécessite des bases de données à grande échelle, et les flux de travail d'agents augmentent simultanément la charge sur les serveurs traditionnels et les serveurs IA.

Cela signifie que les changements induits par l'IA se propagent du HBM vers la DRAM système, les SSD, les HDD, voire le stockage sur bande. Autour du « mur de la mémoire », la chaîne industrielle commence à insérer de nouveaux produits entre les niveaux existants, dans l'espoir de trouver un nouvel équilibre entre performance, capacité et coût.

La limite de l'échelle d'inférence pourrait dépendre du cache KV

Lors de la phase d'entraînement des grands modèles, le GPU et le HBM restent au cœur du dispositif.

L'entraînement nécessite de lire fréquemment les paramètres du modèle et les données intermédiaires, avec des exigences élevées en puissance de calcul et en bande passante mémoire. Mais l'entraînement d'un grand modèle ne repose pas uniquement sur le HBM : les jeux de données bruts doivent être conservés sur des supports de stockage moins coûteux ; avant d'entrer dans le GPU, les données doivent généralement être mises en cache et prétraitées par la DRAM système et les SSD locaux ; un entraînement durant des semaines, voire des mois, exige aussi de sauvegarder régulièrement des points de contrôle pour éviter de tout recommencer en cas de panne matérielle ou logicielle.

Par conséquent, un entraînement à grande échelle mobilise en réalité tout un système allant du HBM à la DRAM système, aux SSD locaux et au stockage réseau.

Une fois en phase d'inférence, les besoins en mémoire se différencient davantage.

L'inférence se décompose généralement en deux étapes : le préremplissage (Prefill) et le décodage (Decode). Le préremplissage traite l'entrée de l'utilisateur et génère le premier jeton, en exécutant principalement des opérations matricielles à grande échelle, plutôt « limité par le calcul ». À cette étape, l'utilisation du GPU et la bande passante du HBM sont plus importantes, et l'indicateur courant est la latence du premier jeton.

La phase de décodage est différente. Le modèle doit générer les jetons un par un et, lors de la génération d'un nouveau jeton, faire appel aux informations produites précédemment. Pour éviter des calculs répétés, le système conserve généralement ces données dans un cache KV.

Le cache KV présente deux caractéristiques importantes : sa capacité augmente linéairement avec la longueur du contexte, et chaque utilisateur a besoin d'un cache indépendant. Ainsi, lorsque le contexte s'allonge et que le nombre d'utilisateurs simultanés augmente, ces deux facteurs font grimper ensemble l'occupation mémoire.

Bernstein estime que, dans les déploiements IA à grande échelle, la mémoire occupée par le cache KV peut dépasser celle des poids du modèle, devenant le principal facteur limitant le nombre d'utilisateurs simultanés et la fenêtre de contexte. Le nombre d'utilisateurs que le modèle peut servir et la longueur du contexte qu'il peut maintenir influent directement sur les revenus.

De ce point de vue, l'enjeu concurrentiel à l'ère de l'inférence ne se limite pas au nombre de calculs que la puce peut effectuer, mais inclut aussi le coût auquel le système peut stocker et lire un contexte en expansion constante.

Le RAG et les agents poussent la demande vers la mémoire traditionnelle

La généralisation du RAG et des agents étend encore la demande de stockage IA au-delà du HBM.

Le RAG comprend principalement deux étapes : la construction de la base de données et la recherche dans celle-ci. Lors de la construction, le système doit traiter de grandes quantités de données non structurées (PDF, pages web, code), puis les convertir en vecteurs et index interrogeables. Ce processus dépend davantage de SSD de grande capacité et de DRAM système, le rôle du HBM étant relativement limité.

Une fois la base créée, la requête de l'utilisateur est d'abord convertie en vecteur, puis mise en correspondance avec le contenu de la base. La génération du vecteur peut être effectuée rapidement dans le GPU et le HBM, mais la recherche proprement dite repose généralement davantage sur la DRAM système. Les résultats de la recherche sont ensuite fusionnés avec la question de l'utilisateur et entrent dans le flux normal de préremplissage et de décodage.

Les flux de travail d'agents imposent une charge encore plus lourde.

Une conversation traditionnelle est généralement un appel unique « entrée – modèle – sortie », tandis qu'un agent doit décomposer l'objectif en plusieurs étapes, appeler d'autres modèles ou outils externes, sauvegarder les résultats intermédiaires et replanifier en fonction des retours. Chaque résultat d'appel peut devenir l'entrée de l'appel suivant du modèle.

Cela accroît simultanément deux types de besoins : d'une part, les appels d'outils et les tâches non IA nécessitent davantage de CPU et de mémoire système ; d'autre part, le transfert continu de contexte entre plusieurs modèles élargit rapidement la charge de préremplissage, de décodage et de cache KV.

Par conséquent, le développement des applications d'agents ne profite pas seulement aux GPU et au HBM, mais peut aussi stimuler la demande de DRAM serveur, de SSD d'entreprise et de supports de stockage moins coûteux.

Entre HBM et SSD, un nouveau niveau de mémoire émerge

Le système mémoire d'un serveur traditionnel se divise approximativement en cache interne du processeur, DRAM système, SSD local et stockage partagé. Les serveurs IA ajoutent le HBM à cette structure, mais sa capacité limitée et son coût élevé l'empêchent de prendre en charge toutes les données.

La solution actuelle de la chaîne industrielle consiste à insérer de nouveaux produits entre les différents niveaux.

Le CXL tente d'intégrer des mémoires physiquement dispersées dans un pool de ressources partagé, permettant au CPU, au GPU et aux équipements d'extension d'appeler la DRAM de manière plus flexible. Certains produits utilisent également la DRAM ou la SRAM comme cache, combinée à la NAND, pour réduire les coûts tout en raccourcissant la latence d'accès.

Le « Storage Next » promu par Nvidia cherche à transférer une partie de la gestion du stockage du CPU vers le GPU et à donner à la NAND une latence, des IOPS et une granularité d'accès aux données plus proches de la DRAM. La série de SSD GP de Kioxia, basée sur la XL-FLASH, est représentative de cette orientation.

Le CMX vise principalement le cache KV. Il déploie les SSD dans des nœuds de données indépendants, reliés aux nœuds de calcul par DPU, Ethernet et puces de commutation. Son objectif est de partager le contexte d'inférence entre différents GPU, de réduire le stockage redondant et de dépasser la limite de capacité mémoire d'un serveur unique.

Toutes ces approches convergent vers une même tendance : les systèmes IA ne peuvent pas conserver indéfiniment toutes les données actives dans le HBM ; ils doivent les répartir entre différents niveaux selon leur fréquence d'accès et leurs exigences de latence.

Les données chaudes restent dans le HBM, une partie du contexte est transférée vers la DRAM système ou des SSD hautes performances, et les données plus froides descendent vers des SSD ordinaires, des HDD, voire des bandes. Plus la hiérarchie mémoire est fine, plus le système a de chances de trouver un équilibre entre performance et coût.

De nouvelles technologies apparaissent en nombre, mais la commercialisation reste incertaine

Autour du « mur de la mémoire », la chaîne industrielle a déjà proposé plusieurs nouvelles voies.

Le zHBM de Samsung prévoit d'empiler le HBM au-dessus du processeur pour raccourcir encore la distance de transmission des données. Toutefois, cette conception doit gérer la chaleur produite par le GPU et impose des exigences plus élevées en matière de rendement et de coût du collage hybride au niveau de la plaquette.

Le NVHBM promu par Nvidia confie la conception de la puce de base à Nvidia, avec une fabrication possible par TSMC. Cette solution pourrait réduire la consommation d'énergie et augmenter la bande passante, mais elle risque aussi d'affaiblir la valeur de conception et de fabrication des fabricants de mémoire dans la puce de base du HBM. Avec la standardisation des produits, une partie de la valeur ajoutée pourrait être transférée des fabricants de mémoire vers Nvidia et les fonderies.

Le HBF promu par SanDisk et SK Hynix espère utiliser la NAND pour offrir une bande passante proche du HBM, tout en obtenant une capacité plus grande et un coût unitaire plus faible. Cependant, la NAND et la DRAM présentent encore des écarts significatifs en latence et en performance ; le HBF doit franchir plusieurs niveaux technologiques, et sa mise en œuvre n'est pas aisée.

Le ZAM d'Intel tente de faire pivoter la puce DRAM de 90 degrés pour améliorer la dissipation thermique, avec un objectif de mise en pratique d'ici l'exercice 2029 ; le HBC de Qualcomm utilise de la LPDDR et un packaging traditionnel, sacrifiant une partie des performances pour contourner le coût du CoWoS.

Par ailleurs, le PIM tente d'intégrer directement des capacités de calcul dans la puce mémoire afin de réduire les transferts de données entre processeur et mémoire. Mais cela modifie l'architecture de calcul existante, nécessite une adaptation conjointe du processeur, du logiciel et du réseau, et bouleverse la division du travail déjà très mature entre puces logiques et puces mémoire. Bernstein estime que son adoption par l'industrie reste limitée.

De ce point de vue, la multiplication rapide des nouvelles solutions ne signifie pas que toutes les voies aboutiront à des marchés de masse. La compatibilité avec les écosystèmes logiciels et matériels existants, l'avantage en termes de coût et l'équilibre des intérêts entre les acteurs de la chaîne d'approvisionnement détermineront le résultat commercial final.

Les bénéficiaires du stockage IA ne se limiteront pas aux fabricants de HBM

Du point de vue de l'investissement, le jugement de Bernstein est assez clair : la dynamique de l'IA sur l'industrie du stockage s'étend de quelques produits haut de gamme à un plus grand nombre de niveaux.

Le HBM reste au cœur de l'entraînement et de l'inférence haute performance ; Samsung Electronics, SK Hynix et Micron continueront de bénéficier de la demande de mémoire à large bande passante. Mais à mesure que l'inférence se développe, l'importance de la DRAM système et de la NAND augmentera. Le débordement du cache KV, les bases de données RAG et les nombreuses données intermédiaires générées par les agents accroîtront également la demande de SSD et de stockage partagé.

Les données plus froides continueront de descendre. Bernstein indique que la croissance des données induite par l'IA commence déjà à profiter aux HDD ; dans certains scénarios, en raison de l'insuffisance des capacités NAND et HDD, la demande de bandes, traditionnellement utilisées pour l'archivage, augmente également.

Le rapport maintient une note de « surperformance » pour Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate et Western Digital. Samsung Electronics, SK Hynix et Micron correspondent à la DRAM et au HBM, SanDisk bénéficie de la NAND et du HBF, tandis que Seagate et Western Digital correspondent au stockage de grande capacité à moindre coût. Kioxia est notée « sous-performance ».

Cependant, la valeur essentielle de ce rapport ne réside pas dans l'énumération d'une série de nouveaux acronymes technologiques, mais dans la redéfinition des frontières du marché du stockage IA.

À l'ère de l'entraînement, le goulot d'étranglement se concentrait principalement sur le GPU et le HBM ; à l'ère de l'inférence et des agents, le goulot d'étranglement commence à se diffuser le long de tout le système mémoire. La compétition future dans l'infrastructure IA dépendra à la fois de la vitesse de calcul des puces et de la capacité des données à circuler efficacement entre HBM, DRAM, NAND et stockage partagé à un coût suffisamment bas.