Bernstein về bảy loại bộ nhớ: Sau HBM, DRAM và NAND tranh giành thị trường nghìn tỷ đô tiếp theo

Trong hai năm qua, câu chuyện về bộ nhớ AI gần như chỉ xoay quanh HBM. Nhưng khi các mô hình lớn chuyển từ huấn luyện sang suy luận quy mô lớn, việc chỉ thêm HBM không còn đủ để giải quyết mọi vấn đề.

Trong báo cáo bộ nhớ toàn cầu mới nhất, Bernstein chỉ ra rằng các khối lượng công việc AI khác nhau có yêu cầu bộ nhớ khác biệt rõ rệt: huấn luyện nhấn mạnh tính toán và băng thông, giai đoạn giải mã của suy luận phụ thuộc nhiều hơn vào dung lượng, RAG cần cơ sở dữ liệu quy mô lớn, và các luồng tác nhân làm tăng tải cho cả máy chủ truyền thống lẫn máy chủ AI.

Điều này có nghĩa là những thay đổi do AI mang lại đang lan từ HBM xuống DRAM hệ thống, SSD, HDD, thậm chí cả bộ nhớ băng từ. Xung quanh "bức tường bộ nhớ", ngành công nghiệp đang chèn các sản phẩm mới vào giữa các tầng hiện có, tìm kiếm sự cân bằng mới giữa hiệu năng, dung lượng và chi phí.

Giới hạn quy mô suy luận có thể phụ thuộc vào KV Cache

Trong quá trình huấn luyện mô hình lớn, GPU và HBM vẫn là trung tâm.

Huấn luyện đòi hỏi đọc thường xuyên các tham số mô hình và dữ liệu trung gian, yêu cầu năng lực tính toán và băng thông bộ nhớ cao. Nhưng huấn luyện một mô hình lớn không chỉ dựa vào HBM: các tập dữ liệu thô cần được lưu trữ trên phương tiện chi phí thấp hơn; trước khi dữ liệu vào GPU, thường phải được lưu đệm và tiền xử lý bởi DRAM hệ thống và SSD cục bộ; và quá trình huấn luyện kéo dài hàng tuần thậm chí hàng tháng đòi hỏi lưu checkpoint định kỳ để tránh phải khởi động lại từ đầu do lỗi phần cứng hoặc phần mềm.

Do đó, một lần huấn luyện lớn thực sự huy động toàn bộ hệ thống phân cấp từ HBM và DRAM hệ thống đến SSD cục bộ và lưu trữ mạng.

Bước vào giai đoạn suy luận, yêu cầu bộ nhớ càng phân hóa.

Suy luận thường được chia thành prefill và decode. Prefill xử lý đầu vào của người dùng và tạo token đầu tiên, thực hiện các phép toán ma trận quy mô lớn và thiên về "ràng buộc tính toán". Trong giai đoạn này, mức sử dụng GPU và băng thông HBM quan trọng hơn, và chỉ số phổ biến là thời gian đến token đầu tiên.

Giai đoạn decode thì khác. Mô hình tạo từng token một và khi tạo token mới, phải tham chiếu thông tin đã tạo trước đó. Để tránh tính toán lại, hệ thống thường lưu dữ liệu này trong KV Cache.

KV Cache có hai đặc điểm chính: dung lượng tăng tuyến tính theo độ dài ngữ cảnh, và mỗi người dùng cần một cache độc lập. Do đó, khi ngữ cảnh dài hơn và người dùng đồng thời tăng lên, cả hai yếu tố cùng đẩy mức sử dụng bộ nhớ lên cao.

Bernstein cho rằng trong các triển khai AI quy mô lớn, bộ nhớ KV Cache có thể vượt quá trọng số mô hình, trở thành yếu tố chính giới hạn số người dùng đồng thời và kích thước cửa sổ ngữ cảnh. Một mô hình có thể phục vụ bao nhiêu người dùng và duy trì ngữ cảnh dài bao lâu cuối cùng ảnh hưởng trực tiếp đến quy mô doanh thu.

Từ góc độ này, trọng tâm cạnh tranh trong kỷ nguyên suy luận không chỉ là chip có thể tính toán nhanh đến đâu, mà còn là hệ thống có thể lưu trữ và đọc ngữ cảnh ngày càng mở rộng với chi phí rẻ đến mức nào.

RAG và tác nhân đẩy nhu cầu sang bộ nhớ truyền thống

Sự phổ biến của RAG và tác nhân đang lan tỏa nhu cầu lưu trữ AI ra ngoài HBM.

RAG chủ yếu gồm xây dựng cơ sở dữ liệu và truy xuất cơ sở dữ liệu. Khi xây dựng cơ sở dữ liệu, hệ thống phải xử lý khối lượng lớn dữ liệu phi cấu trúc như PDF, trang web và mã nguồn, sau đó chuyển đổi thành vector và chỉ mục có thể tìm kiếm. Quá trình này phụ thuộc nhiều hơn vào SSD dung lượng cao và DRAM hệ thống, vai trò của HBM tương đối hạn chế.

Sau khi cơ sở dữ liệu được xây dựng, truy vấn của người dùng trước tiên được chuyển thành vector rồi khớp với nội dung cơ sở dữ liệu. Việc tạo vector có thể thực hiện nhanh trên GPU và HBM, nhưng tìm kiếm thực tế thường phụ thuộc nhiều hơn vào DRAM hệ thống. Kết quả truy xuất sau đó được kết hợp với câu hỏi của người dùng và đi vào luồng prefill và decode thông thường.

Các luồng tác nhân gây gánh nặng nặng nề hơn.

Các cuộc hội thoại truyền thống thường là một lần gọi "đầu vào-mô hình-đầu ra", trong khi tác nhân cần chia mục tiêu thành nhiều bước, gọi các mô hình hoặc công cụ bên ngoài khác, lưu kết quả trung gian và lập kế hoạch lại dựa trên phản hồi. Đầu ra của mỗi lần gọi có thể trở thành đầu vào cho lần gọi mô hình tiếp theo.

Điều này đồng thời làm tăng hai loại nhu cầu: một mặt, các lệnh gọi công cụ và tác vụ phi AI đòi hỏi nhiều CPU và bộ nhớ hệ thống hơn; mặt khác, việc truyền ngữ cảnh liên tục giữa nhiều mô hình nhanh chóng mở rộng tải prefill, decode và KV Cache.

Do đó, sự phát triển của các ứng dụng tác nhân không chỉ có lợi cho GPU và HBM mà còn có thể thúc đẩy nhu cầu đối với DRAM máy chủ, SSD doanh nghiệp và các phương tiện lưu trữ chi phí thấp hơn.

Giữa HBM và SSD, các tầng bộ nhớ mới đang xuất hiện

Hệ thống bộ nhớ máy chủ truyền thống có thể được chia đại khái thành bộ nhớ đệm bộ xử lý, DRAM hệ thống, SSD cục bộ và lưu trữ chia sẻ. Máy chủ AI thêm HBM vào cấu trúc này, nhưng HBM có dung lượng hạn chế và chi phí cao, khó có thể chứa tất cả dữ liệu.

Cách tiếp cận hiện tại của ngành là chèn các sản phẩm mới vào giữa các tầng khác nhau.

CXL cố gắng tích hợp bộ nhớ phân tán vật lý thành một nhóm tài nguyên chia sẻ, cho phép CPU, GPU và thiết bị mở rộng truy cập DRAM linh hoạt hơn. Một số sản phẩm cũng sử dụng DRAM hoặc SRAM làm bộ nhớ đệm kết hợp với NAND, giảm chi phí đồng thời rút ngắn độ trễ truy cập.

Sáng kiến "Storage Next" của Nvidia tìm cách chuyển một phần quản lý lưu trữ từ CPU sang GPU và mang lại cho NAND độ trễ, IOPS và độ chi tiết truy cập dữ liệu gần với DRAM hơn. Dòng SSD GP của Kioxia dựa trên XL-FLASH là đại diện cho hướng này.

CMX chủ yếu nhắm đến KV Cache. Nó triển khai SSD trong các nút dữ liệu độc lập, kết nối với các nút tính toán qua DPU, Ethernet và chip chuyển mạch. Mục tiêu là chia sẻ ngữ cảnh suy luận giữa các GPU khác nhau, giảm lưu trữ trùng lặp và phá vỡ giới hạn dung lượng bộ nhớ của một máy chủ đơn lẻ.

Các cách tiếp cận này đều hướng đến cùng một xu hướng: hệ thống AI không thể giữ tất cả dữ liệu hoạt động trong HBM lâu dài; dữ liệu phải được phân phối giữa các tầng theo tần suất truy cập và yêu cầu độ trễ.

Dữ liệu nóng ở lại HBM, một phần ngữ cảnh chuyển sang DRAM hệ thống hoặc SSD hiệu năng cao, và dữ liệu lạnh hơn tiếp tục chìm xuống SSD tiêu chuẩn, HDD, thậm chí băng từ. Hệ thống phân cấp bộ nhớ càng chi tiết, hệ thống càng có khả năng cân bằng hiệu năng và chi phí.

Công nghệ mới xuất hiện nhanh chóng, nhưng thương mại hóa vẫn chưa chắc chắn

Xung quanh "bức tường bộ nhớ", ngành đã đề xuất nhiều hướng đi mới.

zHBM của Samsung dự định xếp chồng HBM lên trên bộ xử lý, rút ngắn hơn nữa khoảng cách truyền dữ liệu. Tuy nhiên, thiết kế này phải xử lý nhiệt do GPU tạo ra đồng thời đặt yêu cầu cao hơn về hiệu suất và chi phí liên kết lai ở cấp wafer.

NVHBM của Nvidia có die nền do Nvidia thiết kế và có thể do TSMC sản xuất. Cách tiếp cận này có thể giảm tiêu thụ điện năng và tăng băng thông, nhưng cũng có thể làm giảm giá trị thiết kế và sản xuất của các nhà sản xuất bộ nhớ trong die nền HBM. Khi sản phẩm được tiêu chuẩn hóa, một phần giá trị gia tăng có thể chuyển từ nhà sản xuất bộ nhớ sang Nvidia và các xưởng đúc.

HBF, do SanDisk và SK Hynix thúc đẩy, nhằm sử dụng NAND để mang lại băng thông gần với HBM đồng thời đạt dung lượng lớn hơn và chi phí đơn vị thấp hơn. Tuy nhiên, NAND và DRAM vẫn có khoảng cách đáng kể về độ trễ và hiệu năng, và HBF phải vượt qua nhiều cấp công nghệ, khiến việc triển khai không hề dễ dàng.

ZAM của Intel cố gắng xoay die DRAM 90 độ để cải thiện tản nhiệt, nhắm đến thương mại hóa vào năm tài chính 2029; HBC của Qualcomm sử dụng LPDDR và đóng gói truyền thống, hy sinh một phần hiệu năng để tránh chi phí CoWoS.

Ngoài ra, PIM tìm cách thêm khả năng tính toán trực tiếp vào chip bộ nhớ để giảm di chuyển dữ liệu giữa bộ xử lý và bộ nhớ. Nhưng điều này thay đổi kiến trúc tính toán hiện tại, đòi hỏi thích ứng trên bộ xử lý, phần mềm và mạng, đồng thời phá vỡ sự phân công lao động rất trưởng thành giữa chip logic và chip bộ nhớ. Bernstein cho rằng việc áp dụng trong ngành vẫn còn hạn chế.

Do đó, sự gia tăng nhanh chóng của các giải pháp mới không có nghĩa là mọi hướng đi đều hình thành thị trường quy mô lớn. Khả năng tương thích với hệ sinh thái phần mềm và phần cứng hiện tại, lợi thế chi phí và liệu các bên trong chuỗi cung ứng có đạt được cân bằng lợi ích hay không sẽ quyết định kết quả thương mại hóa cuối cùng.

Bên hưởng lợi từ bộ nhớ AI sẽ không giới hạn ở các nhà sản xuất HBM

Từ góc độ đầu tư, quan điểm của Bernstein tương đối rõ ràng: sức kéo của AI đối với ngành bộ nhớ đang lan từ một vài sản phẩm cao cấp sang nhiều tầng hơn.

HBM vẫn là cốt lõi cho huấn luyện và suy luận hiệu năng cao, và Samsung Electronics, SK Hynix và Micron sẽ tiếp tục hưởng lợi từ nhu cầu bộ nhớ băng thông cao. Nhưng khi quy mô suy luận tăng lên, tầm quan trọng của DRAM hệ thống và NAND sẽ tăng. Sự tràn KV Cache, cơ sở dữ liệu RAG và lượng lớn dữ liệu trung gian do tác nhân tạo ra cũng sẽ làm tăng nhu cầu đối với SSD và lưu trữ chia sẻ.

Dữ liệu lạnh hơn sẽ tiếp tục chìm sâu hơn. Bernstein lưu ý rằng tăng trưởng dữ liệu do AI thúc đẩy đã bắt đầu có lợi cho HDD; trong một số kịch bản, do dung lượng NAND và HDD không đủ, băng từ—theo truyền thống chủ yếu dùng để lưu trữ—cũng đang chứng kiến nhu cầu tăng.

Báo cáo duy trì xếp hạng "Outperform" đối với Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate và Western Digital. Trong đó, Samsung Electronics, SK Hynix và Micron tương ứng với DRAM và HBM, SanDisk hưởng lợi từ NAND và HBF, còn Seagate và Western Digital tương ứng với lưu trữ dung lượng cao chi phí thấp. Kioxia được xếp hạng "Underperform".

Tuy nhiên, giá trị cốt lõi của báo cáo này không nằm ở việc liệt kê một loạt từ viết tắt công nghệ mới, mà ở việc xác định lại ranh giới của thị trường bộ nhớ AI.

Trong kỷ nguyên huấn luyện, nút thắt tập trung ở GPU và HBM; trong kỷ nguyên suy luận và tác nhân, nút thắt đang lan rộng khắp toàn bộ hệ thống phân cấp bộ nhớ. Cuộc cạnh tranh tương lai về hạ tầng AI phụ thuộc cả vào tốc độ tính toán của chip lẫn khả năng dữ liệu lưu chuyển hiệu quả giữa HBM, DRAM, NAND và lưu trữ chia sẻ với chi phí đủ thấp.