バーンスタインが7大メモリを評論：HBMの次、DRAMとNANDが次の1兆元市場を争う

過去2年間、AIストレージの市場の物語はほぼHBMを中心に展開されてきた。しかし、大規模モデルがトレーニングから大規模推論へ移行するにつれ、単にHBMを増やすだけではすべての問題を解決できなくなっている。

バーンスタインが最新のグローバルストレージレポートで指摘したところによると、AIワークロードによってメモリ要件は大きく異なる。トレーニングは計算能力と帯域幅を重視し、推論のデコード段階は容量に依存し、RAGは大規模データベースを必要とし、エージェントワークフローは従来型サーバーとAIサーバーの両方に負荷をかける。

これは、AIがもたらす変化がHBMからシステムDRAM、SSD、HDD、さらにはテープストレージへと波及していることを意味する。「メモリウォール」をめぐって、産業チェーンは既存の階層の間に新たな製品を挿入し、性能、容量、コストの新たなバランスを見出そうとしている。

推論規模の上限はKV Cacheが決める可能性

大規模モデルのトレーニング段階では、GPUとHBMが依然として中心的な位置を占める。

トレーニングではモデルパラメータや中間データを頻繁に読み取る必要があり、計算能力とメモリ帯域幅への要求が高い。しかし、大規模モデルのトレーニングはHBMだけに依存するわけではない。生データセットはより低コストのストレージ媒体に保存する必要があり、データがGPUに入る前には通常、システムDRAMとローカルSSDによるキャッシュと前処理が必要となる。数週間から数か月に及ぶトレーニングでは、ハードウェアやソフトウェアの障害でタスクが最初からやり直しになるのを防ぐため、定期的にチェックポイントを保存する必要もある。

したがって、大規模トレーニングは実際にはHBM、システムDRAM、ローカルSSD、ネットワークストレージに至る完全な体系を動員する。

推論段階に入ると、メモリ要件はさらに分化する。

推論は通常、プレフィル（Prefill）とデコード（Decode）の2つの段階に分けられる。プレフィルはユーザー入力を処理して最初のトークンを生成する役割を担い、主に大規模行列演算を実行するため、「計算能力制約」に偏る。この段階ではGPU利用率とHBM帯域幅がより重要で、一般的な指標は初回トークン遅延である。

デコード段階は異なる。モデルはトークンを1つずつ生成し、新しいトークンを生成する際に以前生成した情報を参照する必要がある。重複計算を避けるため、システムは通常これらのデータをKV Cacheに保存する。

KV Cacheには2つの重要な特徴がある。容量はコンテキスト長に比例して増加し、各ユーザーが独立したキャッシュを必要とする。したがって、コンテキストが長くなり、同時ユーザー数が増えると、この2つの要因が合わさってメモリ使用量を押し上げる。

バーンスタインは、大規模AI展開においてKV Cacheが占めるメモリはモデルの重みを上回る可能性があり、同時ユーザー数とコンテキストウィンドウを制限する主な要因になると考えている。モデルがどれだけのユーザーにサービスを提供し、どれだけ長いコンテキストを維持できるかは、最終的に収益規模に直接影響する。

この観点から、推論時代の競争の焦点はチップがどれだけ計算できるかだけでなく、システムが拡大し続けるコンテキストをどれだけ低コストで保存・読み取りできるかにもある。

RAGとエージェントが需要を従来型メモリへ押し広げる

RAGとエージェントの普及により、AIストレージ需要はHBMの外へさらに拡散している。

RAGは主にデータベース構築とデータベース検索の2つの段階からなる。データベース構築時、システムはPDF、Webページ、コードなどの大量の非構造化データを処理し、検索可能なベクトルとインデックスに変換する必要がある。このプロセスは大容量SSDとシステムDRAMに依存し、HBMの役割は比較的限定的である。

データベース構築後、ユーザークエリはまずベクトルに変換され、データベース内のコンテンツと照合される。ベクトル生成はGPUとHBMで迅速に完了できるが、実際の検索は通常システムDRAMに依存する。検索結果はユーザーの質問と統合され、通常のプレフィルとデコードのフローに入る。

エージェントワークフローがもたらす負荷はさらに大きい。

従来の対話は通常「入力—モデル—出力」の単一呼び出しだが、エージェントは目標を複数のステップに分解し、他のモデルや外部ツールを呼び出し、中間結果を保存し、フィードバックに基づいて再計画する必要がある。各呼び出しの結果は、次のモデル呼び出しの入力になる可能性がある。

これにより2種類の需要が同時に増加する。一方で、ツール呼び出しと非AIタスクにはより多くのCPUとシステムメモリが必要となり、他方で、複数のモデル間でコンテキストが絶えず受け渡されることで、プレフィル、デコード、KV Cacheの負荷が急速に拡大する。

したがって、エージェントアプリケーションの発展はGPUとHBMだけでなく、サーバーDRAM、エンタープライズSSD、およびより低コストのストレージ媒体の需要も押し上げる可能性がある。

HBMとSSDの間に新たなメモリ階層が芽生える

従来型サーバーのメモリシステムは、プロセッサ内部キャッシュ、システムDRAM、ローカルSSD、共有ストレージに大別できる。AIサーバーはこの構造にHBMを追加するが、HBMは容量が限られコストも高いため、すべてのデータを担うことは難しい。

産業チェーンが現在取っている解決策は、異なる階層の間に新たな製品を追加することである。

CXLは物理的に分散したメモリを共有リソースプールに統合し、CPU、GPU、拡張デバイスがより柔軟にDRAMを呼び出せるようにすることを目指す。一部の製品はDRAMやSRAMをキャッシュとしてNANDと組み合わせ、コストを削減しつつアクセス遅延を短縮する。

NVIDIAが推進する「Storage Next」は、ストレージ管理の一部をCPUからGPUへ移し、NANDにDRAMに近い遅延、IOPS、データアクセス粒度を持たせようとする。キオクシアがXL-FLASHをベースに投入したGPシリーズSSDは、この方向性の代表例である。

CMXは主にKV Cacheを対象とする。SSDを独立したデータノードに配置し、DPU、イーサネット、スイッチチップを介して計算ノードと接続する。その目標は、異なるGPU間で推論コンテキストを共有し、重複ストレージを削減するとともに、単一サーバーのメモリ容量制限を突破することにある。

これらのソリューションは共通のトレンドを示している。AIシステムはすべてのアクティブデータを長期間HBMに置くことはできず、データのアクセス頻度と遅延要件に応じて異なる階層に分散させる必要がある。

ホットデータはHBMに残し、一部のコンテキストはシステムDRAMや高性能SSDへ移し、よりコールドなデータは通常のSSD、HDD、さらにはテープへと降ろしていく。メモリ階層が細かくなるほど、システムは性能とコストのバランスを取りやすくなる。

新技術が続々登場するが、商業化には不確実性

「メモリウォール」をめぐって、産業チェーンは複数の新たな道筋を打ち出している。

サムスンのzHBMはHBMをプロセッサの上に積層し、データ転送距離をさらに短縮する計画だ。ただし、この設計はGPUが発生する熱への対処が必要で、ウェハレベルハイブリッドボンディングの歩留まりとコストにもより高い要求が課される。

NVIDIAが推進するNVHBMは、ベースダイの設計をNVIDIAが担当し、TSMCが製造する可能性がある。この方式は消費電力の低減と帯域幅の向上が期待できる一方、ストレージメーカーのHBMベースダイにおける設計・製造価値を弱める可能性もある。製品の標準化が進むにつれ、付加価値の一部がストレージメーカーからNVIDIAやファウンドリへ移転するかもしれない。

サンディスクとSKハイニックスが推進するHBFは、NANDを活用してHBMに近い帯域幅を提供しつつ、より大きな容量と低い単位コストを実現しようとする。ただし、NANDとDRAMの間には遅延と性能に依然として大きな差があり、HBFは複数の技術階層を越える必要があるため、実用化の難易度は低くない。

インテルのZAMはDRAMダイを90度回転させて放熱を改善する試みで、2029年度の実用化を目指す。クアルコムのHBCはLPDDRと従来パッケージを使用し、一部の性能を犠牲にしてCoWoSのコストを回避する。

さらに、PIMはストレージチップに直接計算能力を組み込み、プロセッサとメモリ間のデータ移動を削減しようとする。しかし、これは既存の計算アーキテクチャを変えるもので、プロセッサ、ソフトウェア、ネットワークの共同適応が必要となり、高度に成熟したロジックチップとストレージチップの分業体制にも影響を与える。バーンスタインは、業界での採用は依然として限定的だと見ている。

このように、新たなソリューションの数が急速に増えているからといって、すべての道筋が規模のある市場を形成できるわけではない。既存のソフトウェア・ハードウェアエコシステムと互換性があるか、コスト優位性を持つか、サプライチェーンの各プレイヤーが利益のバランスを取れるかが、最終的な商業化の結果を左右する。

AIストレージの受益者はHBMメーカーだけではない

投資の観点から、バーンスタインの判断は比較的明確だ。AIによるストレージ産業への牽引は、少数のハイエンド製品からより多くの階層へと広がっている。

HBMは依然としてトレーニングと高性能推論の中核であり、サムスン電子、SKハイニックス、マイクロンは高帯域幅メモリ需要の恩恵を受け続ける。しかし、推論規模が拡大すると、システムDRAMとNANDの重要性が高まる。KV Cacheのオーバーフロー、RAGデータベース、エージェントが生み出す大量の中間データも、SSDと共有ストレージの需要を増加させる。

よりコールドなデータはさらに下層へ降りていく。バーンスタインによると、AIによるデータ増加はすでにHDDに恩恵をもたらし始めており、一部のシナリオではNANDとHDDの容量不足により、従来は主にアーカイブに使われていたテープの需要も増加している。

レポートは引き続きサムスン電子、SKハイニックス、マイクロン、サンディスク、シーゲイト、ウエスタンデジタルに「アウトパフォーム」評価を与えている。このうち、サムスン電子、SKハイニックス、マイクロンはDRAMとHBMに対応し、サンディスクはNANDとHBFの恩恵を受け、シーゲイトとウエスタンデジタルはより低コストの大容量ストレージに対応する。キオクシアは「アンダーパフォーム」と評価された。

ただし、このレポートの核心的価値は新技術の略語を列挙することではなく、AIストレージ市場の境界を再定義することにある。

トレーニング時代のボトルネックは主にGPUとHBMに集中していたが、推論とエージェントの時代には、ボトルネックはメモリ体系全体に拡散し始める。将来のAIインフラの競争は、チップがどれだけ速く計算できるかだけでなく、データが十分に低いコストでHBM、DRAM、NAND、共有ストレージの間を効率的に流れることができるかにもかかっている。