Samsung skizziert einen dreistufigen HBM-Fahrplan: den Übergang zu echtem 3D ZHBM und das direkte Stapeln von DRAM auf den Computerchip.

Samsungs dreistufiger Entwicklungsplan für HBM zielt auf die „zHBM“-Architektur ab, bei der DRAM vertikal auf Computerchips gestapelt wird. Laut Samsung bietet zHBM im Vergleich zu HBM4E eine 70%ige Reduzierung des Stromverbrauchs und eine 230%ige Steigerung der Bandbreite. Zudem schafft es zusätzliche 100 W thermischen Spielraum für die GPU.

Kürzlich präsentierte Sangwook Han vom DRAM-Designteam von Samsung auf der Technologiekonferenz Hot Chips offiziell Samsungs dreistufige Roadmap für die Weiterentwicklung von HBM. Das Ziel dieser Roadmap ist eine völlig neue Architektur namens zHBM, die DRAM direkt und vertikal auf Computerchips wie GPUs und TPUs stapelt und so den 2,5D-Interposer vollständig überflüssig macht.

Laut einem Bericht von wccftech vom 23. August gab Samsung an, dass die zHBM-Lösung im Vergleich zum Standard HBM4E eine Reduzierung des Stromverbrauchs um 70 %, eine Steigerung der DRAM-Bandbreite um 230 % und eine Energieeinsparung von 100 W pro DRAM-Modul erreichen soll, während gleichzeitig 8,3 % zusätzlicher Leistungsspielraum für die GPU geschaffen werden.

Was ist HBM und wo liegen die Engpässe?

HBM, oder High-Bandwidth Memory, ist eine der wichtigsten Speicherkomponenten in aktuellen KI-Trainings- und Inferenzsystemen. Es besteht aus zwei Arten von Chips:

C-Die (Kernchip) : Enthält DRAM-Speicherzellen und kann vertikal bis zu 16 Lagen gestapelt werden.

B-Die (Basis-Die) : Er befindet sich am unteren Ende der gesamten Stapelstruktur und ist für die Abwicklung verschiedener DRAM-Steuerungsfunktionen sowie die Kommunikation mit Computerchips wie GPUs über die PHY (Physical Interface Layer) zuständig.

Die beiden sind über eine TSV (Through-Silicon Via) verbunden – einen vertikalen leitfähigen Kanal, der in den Chip hineinreicht.

Laut Wccftech übersteigt die Bandbreite jedes HBM4-Stacks derzeit 3 TB/s, HBM4E geht noch einen Schritt weiter und erreicht den Bereich von 4 TB/s, und HBM5 verdoppelt die Bandbreite von HBM4 mit einer Kapazität von über 60 GB.

Die kontinuierliche Bandbreitenerweiterung stößt jedoch auf zwei wesentliche Einschränkungen: die physikalischen Grenzen der Anzahl und des Abstands der TSVs sowie die Obergrenze für Anzahl und Geschwindigkeit der I/O-Schnittstelle des PHY-Chips im Basis-Die . Gleichzeitig verringert sich der Generationsunterschied zwischen dem B-Die und dem Rechenchip (xPU SoC) von Generation zu Generation, was für Samsungs Roadmap sowohl eine Herausforderung als auch ein Ausgangspunkt ist.

Phase 1: Platz für Computerchips schaffen

Das Hauptziel der ersten Phase von Samsungs Roadmap ist die „Rückgewinnung“ von Siliziumfläche von xPUs (Rechenchips) .

Samsung hat D1c- und 4-nm-Logikprozesse auf den HBM4-Basis-Die (B-Die) angewendet, vor allem um den Stromverbrauch zu senken und die effektive Fläche zu verkleinern. Dies markiert den Beginn der echten Integration von DRAM und fortschrittlichen Logikprozessen.

Zu den konkreten Maßnahmen gehören:

Durch den Ersatz des herkömmlichen HBM PHY durch eine D2D-Schnittstelle wird die Kanallänge verkürzt, was die Energieeffizienz direkt verbessert und gleichzeitig wertvollen Siliziumplatz für die XPU freigibt.

Durch die Auslagerung des Speichercontrollers von der XPU auf den cHBM B-Die werden voraussichtlich 5 bis 10 % der XPU-Fläche frei, was einer Leistungssteigerung von 10 bis 20 % entspricht.

Einführung eines fein abgestuften SRAM-basierten Reparaturverfahrens (Near-MC SRAM-Based Cell Repair), das ungenutzten Speicherplatz auf dem B-Die zur Bereitstellung von SRAM-Reparaturressourcen nutzt.

Eine Folge der reduzierten Fläche ist das Hotspot-Problem. Um dem entgegenzuwirken, hat Samsung die Heat Path Block (HPB)-Technologie eingeführt, die auf der cHBM4-Lösung aufbaut und die Spitzentemperaturen um mehr als 35 % senken sowie 50 % der PHY-Fläche abdecken kann.

Phase Zwei: Der B-Die beginnt, seine Rechenleistung zu steigern.

Der Fokus der zweiten Phase verlagerte sich von der „Schaffung von Raum“ hin zum „Hinzufügen von Funktionen“, was Samsung als die Phase der Funktionserweiterung bezeichnet.

Erweiterung der Speicherkapazität. Da sich das Kontextfenster großer KI-Modelle dramatisch vergrößert, steigt der Bedarf an Key-Value-Caches (dem Speicherbereich zur Speicherung von Zwischenzuständen während der Modellinferenz) exponentiell. Samsung plant, einen Speichererweiterungscontroller und einen PHY auf der ungenutzten Siliziumfläche des Basischips zu integrieren und so die verfügbare Speicherkapazität des Systems durch externe LPDDR- oder HBM-Lösungen zu erweitern.

Integrierte Verarbeitungseinheiten (PEs). Samsung schlug außerdem vor, einige Rechenelemente (Verarbeitungselemente) auf dem Basis-Die zu integrieren und so einen Teil der Berechnungen, die sonst auf der xPU durchgeführt werden müssten, in den Speicher auszulagern. Dadurch werden die Anforderungen an die D2D-Bandbreite, der Stromverbrauch und die Wärmeentwicklung reduziert. Diese Bauform wird als AHBM (Advanced HBM) bezeichnet.

Die Zuverlässigkeit und Testmöglichkeiten werden verbessert. Die zweite Phase umfasst außerdem die Integration fortschrittlicher RAS-Sensoren (Zuverlässigkeit, Verfügbarkeit, Wartungsfreundlichkeit) und Echtzeit-Telemetriefunktionen sowie On-Chip-Selbsttestfunktionen (ATIP) in den Basischip, um die Ausbeute und die Testabdeckung zu verbessern.

Phase 3: zHBM – Durch Wegfall der Zwischenschicht wird DRAM direkt auf den Computerchip aufgebracht.

Die dritte Phase ist die endgültige Form des gesamten Fahrplans: zHBM .

Aktuelle gängige KI-Systeme nutzen eine 2,5D-Gehäusearchitektur, bei der GPU und HBM nebeneinander auf demselben Interposer platziert sind und Daten über horizontale Verbindungen übertragen. Der zHBM-Ansatz integriert diese Struktur vertikal, indem DRAM direkt auf den xPU-Chip gestapelt wird, wodurch eine echte 3D-Vertikalintegration entsteht.

Samsung beschreibt die wichtigsten Merkmale von zHBM wie folgt:

Verteilte Ein-/Ausgabe : Minimierung der Datenübertragungsdistanz innerhalb des HBM-Stacks

3D-Struktur : Eliminiert herkömmliche 2D-Schnittstellen und verbessert so die Systemeffizienz deutlich.

Der angestrebte I/O-Leistungsverbrauch beträgt ungefähr 0,5 pJ/Bit und wird durch das Entfernen redundanter Module wie SerDes erreicht.

Die Bandbreite wurde um mehr als das 2,3-fache erhöht, der thermische Spielraum des Systems erreicht 100 W.

Samsungs Demonstrationslösung bestand darin, eine vierfach gestapelte zHBM-Schicht auf eine XPU aufzusetzen.

Um diese Ziele zu erreichen, entwickelt Samsung zwei wichtige Packaging-Technologien: WoW (Wafer on Wafer) und HCB (Hybrid Cube Bonding) , um eine extrem hohe I/O-Dichte zu erzielen und letztendlich ein einheitliches SoC-DRAM-Co-Design-System aufzubauen.

Die Kernlogik hinter der Roadmap

Die Kernaussage der Samsung-Präsentation bestand darin, HBMs Base Die von einer „passiven Datenübertragungsstation“ zu einem „intelligenten Partner mit proaktiven Rechenfähigkeiten“ umzupositionieren.

Die Evolutionslogik der drei Stufen ist klar: Erstens wird durch Prozessverbesserungen die Fläche reduziert und xPU-Platz freigegeben (erste Stufe); zweitens werden durch die Nutzung des freigegebenen Platzes mehr Funktionen integriert und Kapazität und Rechenleistung erweitert (zweite Stufe); schließlich wird die Systemarchitektur durch vertikale 3D-Integration vollständig umgebaut, wodurch gleichzeitig Durchbrüche beim Stromverbrauch, der Bandbreite und dem Wärmemanagement erzielt werden (dritte Stufe).

In seinen Schlussbemerkungen erklärte Samsung: „Durch die Beherrschung fortschrittlicher Packaging-Technologien und eines einheitlichen SoC-DRAM-Co-Designs werden wir die Engpässe bei Stromverbrauch, Fläche und Kapazität überwinden, die KI-Systeme einschränken, und damit den Weg für höhere Effizienz, höhere Leistung und größere Skalierbarkeit in den kommenden Jahren ebnen.“