Bernstein zu sieben Speichertypen: Nach HBM kämpfen DRAM und NAND um den nächsten Billionenmarkt

In den letzten zwei Jahren drehte sich die Markterzählung rund um KI-Speicher fast ausschließlich um HBM. Doch da große Modelle vom Training zur großflächigen Inferenz übergehen, reicht es nicht mehr aus, einfach mehr HBM hinzuzufügen.

Bernstein weist in seinem neuesten globalen Speicherbericht darauf hin, dass verschiedene KI-Workloads deutlich unterschiedliche Anforderungen an den Speicher stellen: Beim Training stehen Rechenleistung und Bandbreite im Vordergrund, die Dekodierungsphase bei der Inferenz hängt stärker von der Kapazität ab, RAG benötigt umfangreiche Datenbanken, und Agenten-Workflows belasten sowohl herkömmliche als auch KI-Server zusätzlich.

Das bedeutet, dass die durch KI ausgelösten Veränderungen von HBM auf System-DRAM, SSDs, HDDs und sogar Bandspeicher übergreifen. Angesichts der „Memory Wall“ beginnt die Industriekette, zwischen den bestehenden Ebenen neue Produkte einzufügen, um ein neues Gleichgewicht zwischen Leistung, Kapazität und Kosten zu finden.

Die Obergrenze der Inferenzskalierung könnte vom KV-Cache abhängen

In der Trainingsphase großer Modelle stehen GPU und HBM weiterhin im Mittelpunkt.

Das Training erfordert häufiges Lesen von Modellparametern und Zwischendaten und stellt hohe Anforderungen an Rechenleistung und Speicherbandbreite. Doch das Training eines großen Modells hängt nicht allein von HBM ab: Rohdatensätze müssen auf kostengünstigeren Speichermedien vorgehalten werden; bevor Daten in die GPU gelangen, müssen sie in der Regel von System-DRAM und lokalen SSDs zwischengespeichert und vorverarbeitet werden; und ein über Wochen oder sogar Monate dauerndes Training erfordert regelmäßige Checkpoints, um zu verhindern, dass Hardware- oder Softwarefehler die Aufgabe von vorn beginnen lassen.

Ein großes Training beansprucht daher tatsächlich das gesamte System von HBM über System-DRAM bis hin zu lokalen SSDs und Netzwerkspeicher.

In der Inferenzphase differenzieren sich die Speicheranforderungen weiter aus.

Die Inferenz lässt sich üblicherweise in zwei Schritte unterteilen: Prefill und Decode. Prefill verarbeitet die Benutzereingabe und erzeugt das erste Token; dabei werden vor allem groß angelegte Matrixoperationen ausgeführt, was eher „rechenleistungsgebunden“ ist. In dieser Phase sind GPU-Auslastung und HBM-Bandbreite wichtiger; eine gängige Kennzahl ist die Latenz bis zum ersten Token.

Die Dekodierungsphase ist anders. Das Modell muss Token einzeln erzeugen und dabei auf zuvor generierte Informationen zurückgreifen. Um wiederholte Berechnungen zu vermeiden, speichert das System diese Daten üblicherweise im KV-Cache.

Der KV-Cache hat zwei wichtige Eigenschaften: Seine Kapazität wächst linear mit der Kontextlänge, und jeder Benutzer benötigt einen eigenen Cache. Wenn also der Kontext länger wird und die Zahl gleichzeitiger Benutzer steigt, treiben beide Faktoren gemeinsam den Speicherbedarf in die Höhe.

Bernstein geht davon aus, dass der vom KV-Cache belegte Speicher bei groß angelegten KI-Bereitstellungen die Modellgewichte übersteigen und zum Hauptfaktor werden kann, der die Zahl gleichzeitiger Benutzer und das Kontextfenster begrenzt. Wie viele Benutzer ein Modell bedienen und wie lang der Kontext gehalten werden kann, wirkt sich letztlich direkt auf die Umsatzgröße aus.

Damit liegt der Wettbewerbsschwerpunkt im Inferenzzeitalter nicht nur darauf, wie viele Berechnungen ein Chip ausführen kann, sondern auch darauf, zu welch niedrigen Kosten das System den ständig wachsenden Kontext speichern und lesen kann.

RAG und Agenten verlagern die Nachfrage auf herkömmlichen Speicher

Die Verbreitung von RAG und Agenten lässt die KI-Speichernachfrage weiter über HBM hinaus wachsen.

RAG umfasst im Wesentlichen zwei Schritte: den Aufbau der Datenbank und die Datenbankabfrage. Beim Aufbau der Datenbank muss das System große Mengen unstrukturierter Daten wie PDFs, Webseiten und Code verarbeiten und in durchsuchbare Vektoren und Indizes umwandeln. Dieser Prozess hängt stärker von großvolumigen SSDs und System-DRAM ab; die Rolle von HBM ist vergleichsweise begrenzt.

Nach dem Aufbau der Datenbank wird die Benutzeranfrage zunächst in einen Vektor umgewandelt und anschließend mit den Inhalten der Datenbank abgeglichen. Die Vektorerzeugung kann schnell in GPU und HBM erfolgen, doch die eigentliche Suche stützt sich in der Regel stärker auf System-DRAM. Die Suchergebnisse werden dann mit der Benutzerfrage zusammengeführt und durchlaufen den normalen Prefill- und Dekodierungsprozess.

Agenten-Workflows verursachen eine noch größere Belastung.

Herkömmliche Dialoge sind in der Regel einzelne Aufrufe nach dem Muster „Eingabe – Modell – Ausgabe“. Ein Agent muss dagegen das Ziel in mehrere Schritte zerlegen, andere Modelle oder externe Werkzeuge aufrufen, Zwischenergebnisse speichern und auf der Grundlage von Rückmeldungen neu planen. Die Ergebnisse jedes Aufrufs können wiederum als Eingabe für den nächsten Modellaufruf dienen.

Das erhöht gleichzeitig zwei Arten von Nachfrage: Einerseits benötigen Werkzeugaufrufe und Nicht-KI-Aufgaben mehr CPU und Systemspeicher; andererseits führt der ständige Austausch von Kontext zwischen mehreren Modellen zu einer raschen Ausweitung von Prefill-, Dekodierungs- und KV-Cache-Lasten.

Die Entwicklung von Agenten-Anwendungen kommt daher nicht nur GPUs und HBM zugute, sondern dürfte auch die Nachfrage nach Server-DRAM, Enterprise-SSDs und kostengünstigeren Speichermedien steigern.

Zwischen HBM und SSD entsteht eine neue Speicherebene

Das Speichersystem herkömmlicher Server lässt sich grob in prozessorinterne Caches, System-DRAM, lokale SSDs und gemeinsam genutzten Speicher unterteilen. KI-Server fügen dieser Struktur HBM hinzu, doch HBM hat eine begrenzte Kapazität und ist vergleichsweise teuer, sodass es nicht alle Daten aufnehmen kann.

Die derzeitige Lösung der Industriekette besteht darin, zwischen den verschiedenen Ebenen neue Produkte einzuführen.

CXL versucht, physisch verteilten Speicher zu einem gemeinsamen Ressourcenpool zusammenzufassen, damit CPU, GPU und Erweiterungsgeräte flexibler auf DRAM zugreifen können. Einige Produkte kombinieren zudem DRAM oder SRAM als Cache mit NAND, um die Kosten zu senken und gleichzeitig die Zugriffslatenz zu verringern.

Das von Nvidia vorangetriebene „Storage Next“ versucht, einen Teil der Speicherverwaltung von der CPU auf die GPU zu verlagern und NAND eine Latenz, IOPS und Datenzugriffsgranularität zu geben, die näher an DRAM heranreicht. Die auf XL-FLASH basierende GP-Serie von Kioxia ist ein Vertreter dieser Richtung.

CMX zielt hauptsächlich auf den KV-Cache ab. Dabei werden SSDs in unabhängigen Datenknoten eingesetzt und über DPUs, Ethernet und Switch-Chips mit den Rechenknoten verbunden. Ziel ist es, den Inferenzkontext zwischen verschiedenen GPUs zu teilen, doppelte Speicherung zu reduzieren und gleichzeitig die Speicherkapazitätsgrenzen eines einzelnen Servers zu überwinden.

Alle diese Ansätze weisen auf denselben Trend hin: KI-Systeme können nicht alle aktiven Daten dauerhaft im HBM halten, sondern müssen sie entsprechend ihrer Zugriffshäufigkeit und Latenzanforderungen auf verschiedene Ebenen verteilen.

Heiße Daten bleiben im HBM, ein Teil des Kontexts wird in System-DRAM oder Hochleistungs-SSDs verlagert, und kältere Daten sinken weiter auf normale SSDs, HDDs oder sogar Bänder ab. Je feiner die Speicherebenen sind, desto eher kann das System ein Gleichgewicht zwischen Leistung und Kosten erreichen.

Neue Technologien entstehen in rascher Folge, doch die Kommerzialisierung bleibt unsicher

Rund um die „Memory Wall“ hat die Industriekette bereits mehrere neue Wege vorgeschlagen.

Samsungs zHBM plant, HBM über dem Prozessor zu stapeln, um die Datenübertragungsdistanz weiter zu verkürzen. Dieses Design muss jedoch die von der GPU erzeugte Wärme ableiten und stellt zugleich höhere Anforderungen an Ausbeute und Kosten des Wafer-Level-Hybrid-Bondings.

Das von Nvidia vorangetriebene NVHBM überlässt das Basis-Die dem Design von Nvidia und könnte von TSMC gefertigt werden. Dieser Ansatz verspricht geringeren Stromverbrauch und höhere Bandbreite, könnte aber den Design- und Fertigungswert der Speicherhersteller beim HBM-Basis-Die schmälern. Mit zunehmender Standardisierung könnte ein Teil der Wertschöpfung von den Speicherherstellern zu Nvidia und den Foundries wandern.

Das von SanDisk und SK Hynix vorangetriebene HBF will mit NAND eine Bandbreite nahe HBM bieten und gleichzeitig größere Kapazität und niedrigere Stückkosten erreichen. Allerdings bestehen zwischen NAND und DRAM weiterhin erhebliche Unterschiede bei Latenz und Leistung; HBF muss mehrere Technologieebenen überwinden, und die Umsetzung ist keineswegs einfach.

Intels ZAM versucht, DRAM-Dies um 90 Grad zu drehen, um die Wärmeableitung zu verbessern, und strebt eine Praxistauglichkeit bis zum Geschäftsjahr 2029 an; Qualcomms HBC setzt auf LPDDR und herkömmliche Gehäuse und nimmt zugunsten der Umgehung der CoWoS-Kosten gewisse Leistungseinbußen in Kauf.

Darüber hinaus versucht PIM, Rechenleistung direkt in den Speicherchip zu integrieren, um den Datentransport zwischen Prozessor und Speicher zu reduzieren. Dies würde jedoch die bestehende Rechenarchitektur verändern, eine Anpassung von Prozessoren, Software und Netzwerken erfordern und das bereits hochgradig ausgereifte System der Arbeitsteilung zwischen Logik- und Speicherchips beeinträchtigen. Bernstein geht davon aus, dass die Akzeptanz in der Branche weiterhin begrenzt bleibt.

Die rasch wachsende Zahl neuer Ansätze bedeutet also nicht, dass alle Wege einen nennenswerten Markt bilden können. Ob sie mit bestehenden Software- und Hardware-Ökosystemen kompatibel sind, ob sie Kostenvorteile bieten und ob die verschiedenen Akteure der Lieferkette einen Interessenausgleich erreichen, wird über das letztliche Kommerzialisierungsergebnis entscheiden.

Vom KI-Speicher profitieren nicht nur HBM-Hersteller

Aus Anlagesicht ist Bernsteins Einschätzung recht eindeutig: Der Impuls der KI für die Speicherindustrie breitet sich von wenigen High-End-Produkten auf weitere Ebenen aus.

HBM bleibt das Herzstück von Training und Hochleistungs-Inferenz; Samsung Electronics, SK Hynix und Micron werden weiterhin von der Nachfrage nach Speicher mit hoher Bandbreite profitieren. Doch mit zunehmender Inferenzskalierung gewinnen System-DRAM und NAND an Bedeutung. KV-Cache-Überläufe, RAG-Datenbanken und die großen Mengen an Zwischendaten, die Agenten erzeugen, werden auch die Nachfrage nach SSDs und gemeinsam genutztem Speicher erhöhen.

Kältere Daten werden weiter nach unten wandern. Bernstein zufolge kommt das durch KI verursachte Datenwachstum bereits HDDs zugute; in einigen Szenarien steigt wegen unzureichender NAND- und HDD-Kapazitäten sogar die Nachfrage nach Bändern, die traditionell vor allem für die Archivierung genutzt werden.

Der Bericht bestätigt für Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate und Western Digital das Rating „Outperform“. Dabei stehen Samsung Electronics, SK Hynix und Micron für DRAM und HBM, SanDisk profitiert von NAND und HBF, und Seagate sowie Western Digital entsprechen kostengünstigerem Massenspeicher. Kioxia wird mit „Underperform“ bewertet.

Der eigentliche Wert dieses Berichts liegt jedoch nicht in der Auflistung einer Reihe neuer Technologie-Abkürzungen, sondern in der Neudefinition der Grenzen des KI-Speichermarkts.

Im Trainingszeitalter konzentrierten sich die Engpässe vor allem auf GPU und HBM; im Zeitalter von Inferenz und Agenten beginnen sich die Engpässe entlang des gesamten Speichersystems auszubreiten. Der künftige Wettbewerb um die KI-Infrastruktur hängt sowohl davon ab, wie schnell Chips rechnen können, als auch davon, ob Daten zu ausreichend niedrigen Kosten effizient zwischen HBM, DRAM, NAND und gemeinsam genutztem Speicher fließen können.