NAND Flash比HBM便宜百倍？傳奇程式設計師：AI推論記憶體架構應重新設計

以《毀滅戰士（Doom）》與《雷神之鎚（Quake）》聞名的傳奇遊戲程式設計師 John Carmack，近日在社群媒體上發文，針對當前 AI 的硬體架構提出另一主張：AI 模型推論的記憶體存取模式與遊戲渲染並不一樣，這代表比高頻寬記憶體（HBM）便宜一百倍的 NAND 快閃記憶體，或許能夠成為 AI 加速器記憶體架構的核心角色。

Carmack：AI 推論不需要隨機存取記憶體

Carmack 的論點核心在於：遊戲渲染引擎無法預知下一幀將存取哪塊材質或幾何資料，因此只能使用隨機存取記憶體；但 AI 模型在推論時，對各層權重的讀取順序完全可以事先確定（deterministic），不一定需要隨機存取。

他強調，系統可以容忍幾毫秒的冷啟動延遲，只要後續連續讀取的頻寬達標即可。NAND Flash 在連續讀取效能上並不遜色，其每 GB 成本卻比 HBM 低上百倍；即使為 Flash 控制器配備 1024-bit 寬介面以模擬 HBM 頻寬，就成本而言仍相當具有競爭力。

點名兩條實作路徑，光碟機時代技巧也能派上用場？

Carmack 提出兩種具體架構：

若 scratchpad SRAM 不足以一次裝載某一層的全部權重，Carmack 建議借用 CD-ROM 時代的優化技術：在 Flash 上將同一份資料複製多份、分散部署，避免循序讀取時需要「倒帶」。Flash 容量足夠龐大，這樣的冗餘部署能輕鬆負荷。

至於訓練場景，Carmack 坦承論點較弱：「Flash 有寫入次數壽命限制，頻繁的反向傳播更新確實會迅速磨損晶片。」但他認為，以高延遲的大量平行低成本 DRAM 取代 HBM，在成本效益上是可以成立的。

花旗研報：HBM 與 DRAM 成本過高，NAND SSD 成備選

Carmack 的觀點，與花旗銀行分析師的觀察方向不謀而合。該行上個月發布報告指出，隨著代理式 AI（agentic AI）應用對鍵值快取（KV cache）容量需求激增，單靠 HBM 與傳統 DRAM 恐成本過高且供給跟不上，預期部分運算負載將轉向以企業級 SSD 作為「主動記憶體層」使用。

花旗估算，解決這一瓶頸可能需要新建 2 至 4 座 NAND 晶圓廠，對應約 150 億至 300 億美元的設備支出規模，並因此上調應用材料（AMAT）、科林研發（LRCX）與科磊（KLAC）等標的的目標價。

中國長江存儲 NAND 技術佈局已久，專利數量超車韓系大廠

若 NAND Flash 真的成為 AI 記憶體架構的重要一環，中國長江存儲（YMTC）的技術進度便成為不可忽視的地緣政治變數。鏈新聞昨日報導，該公司自主研發的 Xtacking 架構，是全球首個達到商業化量產規模的晶圓對晶圓（W2W）混合鍵合 NAND 技術，最新產品已量產至 270 層。

根據 2023 年統計，長江存儲持有 119 項混合鍵合核心專利，超越三星電子的 83 項與 SK 海力士的 11 項，甚至連三星都得為推進下一代 NAND 發展，被迫向 YMTC 購買專利授權。

若 AI 推論硬體對高密度 NAND 的需求如 Carmack 所預期般爆發，長江存儲的專利壁壘與量產能力，有望在全球供應鏈格局中扮演愈來愈關鍵的角色。