サムスンは、真の3D ZHBMへの移行、DRAMをコンピューティングチップ上に直接積層するという3段階のHBMロードマップを概説した。

サムスンの3段階にわたるHBM進化ロードマップは、コンピューティングチップの上にDRAMを垂直に積み重ねる「zHBM」アーキテクチャの実現を目指している。サムスンは、zHBMはHBM4Eと比較して消費電力を70%削減し、帯域幅を230%向上させると同時に、GPU向けに100Wの熱的余裕を生み出すと主張している。

先日開催されたHot Chipsテクノロジーカンファレンスにおいて、サムスンのDRAM設計チームのハン・サンウク氏がプレゼンテーションを行い、HBMの進化に向けたサムスンの3段階ロードマップを正式に発表した。このロードマップの最終目標は、zHBMと呼ばれる全く新しいアーキテクチャであり、GPUやTPUなどのコンピューティングチップ上にDRAMを直接垂直に積層することで、2.5Dインターポーザーを完全に排除するものである。

wccftechが8月23日に報じたところによると、サムスンは、標準的なHBM4Eと比較して、 zHBMソリューションは消費電力を70%削減し、DRAM帯域幅を230%向上させ、DRAMモジュールあたり100Wの電力削減を実現すると同時に、GPU向けに8.3%の追加電力余裕を生み出すと主張している。

HBMとは何か、そしてボトルネックはどこにあるのか？

HBM（高帯域幅メモリ）は、現在のAIトレーニングおよび推論システムにおいて最も重要なストレージコンポーネントの1つです。HBMは2種類のチップで構成されています。

Cダイ（コアチップ） ：DRAMメモリセルを含み、最大16層まで垂直方向に積層できる。

Bダイ（ベースダイ） ：スタック構造全体の最下部に位置し、様々なDRAM制御機能の処理や、PHY（物理インターフェース層）を介したGPUなどのコンピューティングチップとの通信を担当します。

両者はTSV（Through-Silicon Via）と呼ばれる、チップを貫通する垂直な導電チャネルを介して接続されている。

Wccftechによると、各HBM4スタックの帯域幅は現在3TB/sを超えており、HBM4Eはさらに4TB/sの範囲にまで向上し、HBM5はHBM4の帯域幅を2倍にし、容量は60GBを超えている。

しかしながら、帯域幅の継続的な拡大には、2つの大きな制約が存在します。1つはTSVの数と間隔の物理的な限界、もう1つはベースダイ内のPHYインターフェースのI/Oの数と速度の上限です。同時に、Bダイとコンピューティングチップ（xPU SoC）間のプロセス世代間のギャップは世代を追うごとに縮小しており、これはサムスンのロードマップにとって課題であると同時に、参入点でもあります。

フェーズ1：コンピューティングチップのためのスペースを確保する

サムスンのロードマップの第一段階における主要な目標は、 xPU（コンピューティングチップ）からシリコン面積を「取り戻す」ことである。

サムスンは、主に消費電力の削減と実効面積の縮小を目的として、HBM4ベースダイ（Bダイ）にD1cプロセスと4nmロジックプロセスを適用しました。これは、DRAMと高度なロジックプロセスの真の統合の始まりを示すものです。

具体的な対策は以下のとおりです。

従来のHBM PHYをD2Dインターフェースに置き換えることで、チャネル長が短縮され、エネルギー効率が直接的に向上するとともに、XPU用の貴重なシリコンスペースを確保できる。

メモリコントローラをXPUからcHBM Bダイにオフロードすることで、XPUの面積を5%から10%削減でき、10%から20%の性能向上が見込まれる。

Bダイ上の遊休領域を利用してSRAM修復リソースを配置する、きめ細かなSRAMベースの修復方式（ニアMC SRAMベースセル修復）を導入する。

面積縮小に伴う副作用の一つとして、ホットスポットの問題が挙げられます。これに対処するため、サムスンはcHBM4ソリューションをベースにしたヒートパスブロック（HPB）技術を導入しました。この技術は、ピーク温度を35%以上低減し、PHY領域の50%をカバーすることができます。

フェーズ2：Bダイの演算能力が「成長」し始める

第2段階の焦点は「空間の創造」から「機能の追加」へと移り、サムスンはこれを機能拡張段階と定義している。

メモリ容量の拡張。大規模AIモデルのコンテキストウィンドウが劇的に拡大するにつれ、キーバリューキャッシュ（モデル推論中に中間状態を格納するために使用されるメモリ領域）の需要が指数関数的に増加しています。サムスンは、ベースダイの未使用シリコン領域にメモリ拡張コントローラとPHYを統合し、外部LPDDRまたはHBMソリューションを通じてシステムの利用可能なメモリ容量を拡張する計画です。

統合処理ユニット（PE）。サムスンはまた、ベースダイ上にいくつかの演算処理要素（処理要素）を統合し、xPUで実行する必要のある演算の一部をメモリ側にオフロードすることで、D2D帯域幅要件、消費電力、および熱負荷を削減することを提案した。このフォームファクタはAHBM（Advanced HBM）と呼ばれている。

信頼性とテスト機能を強化します。第2段階では、歩留まりとテストカバレッジを向上させるため、高度なRAS（信頼性、可用性、保守性）センサーとリアルタイムテレメトリ機能、およびオンチップ自己テスト（ATIP）機能をベースダイに統合します。

フェーズ3：zHBM – インターポーザ層を排除し、DRAMをコンピューティングチップに直接適用します。

第3段階は、ロードマップ全体の最終形態であるzHBMです。

現在の主流AIシステムは2.5Dパッケージングアーキテクチャを採用しており、GPUとHBMは同じインターポーザー上に並べて配置され、水平方向の相互接続を介してデータを伝送します。zHBMのアプローチは、この構造を「垂直方向」に統合することであり、DRAMをxPUチップ上に直接積層することで、真の3D垂直統合を実現します。

サムスンはzHBMの主な特徴として以下を挙げている。

分散I/O ：HBMスタック内のデータ転送距離の最小化

3D構造：従来の2Dインターフェースを排除し、システム効率を大幅に向上させます。

目標とするI/O消費電力は約0.5 pJ/bitであり、これはSerDesなどの冗長なモジュールを削除することによって達成されます。

帯域幅は2.3倍以上に増加し、システムの熱的余裕は100Wに達した。

サムスンのデモソリューションは、XPUの上に4層構造のzHBM層を積み重ねるというものだった。

これらの目標を達成するために、サムスンは超高I/O密度を実現し、最終的にはSoCとDRAMの統合設計システムを構築するために、 WoW（ウェハー・オン・ウェハー）とHCB（ハイブリッドキューブボンディング）という2つの主要なパッケージング技術を開発しています。

ロードマップの背後にあるコアロジック

サムスンのプレゼンテーションの核心は、HBMのベースダイを「受動的なデータ転送ステーション」から「能動的なコンピューティング機能を備えたインテリジェントなパートナー」へと位置づけ直すことだった。

3つの段階の進化の論理は明確です。まず、プロセスアップグレードによって面積が縮小され、xPUスペースが解放されます（第1段階）。次に、解放されたスペースを利用して、より多くの機能が統合され、容量と演算能力が拡張されます（第2段階）。最後に、3D垂直統合によってシステムアーキテクチャが完全に再構築され、消費電力、帯域幅、熱管理において同時に画期的な進歩が達成されます（第3段階）。

サムスンは締めくくりの言葉で、「高度なパッケージングとSoC-DRAMの統合設計を習得することで、AIシステムを制約する消費電力、面積、容量のボトルネックを克服し、今後数年間でより高い効率性、より高いパフォーマンス、そしてより大きな拡張性への道を開く」と述べた。