Samsung vạch ra lộ trình ba giai đoạn cho HBM: tiến tới ZHBM 3D thực sự, xếp chồng trực tiếp DRAM lên chip xử lý.

Lộ trình phát triển HBM ba giai đoạn của Samsung hướng đến kiến trúc "zHBM", kiến trúc này xếp chồng DRAM theo chiều dọc lên trên các chip xử lý. Samsung tuyên bố rằng zHBM mang lại khả năng giảm 70% điện năng tiêu thụ và tăng 230% băng thông so với HBM4E, đồng thời giải phóng thêm 100W công suất tản nhiệt cho GPU.

Mới đây, tại hội nghị công nghệ Hot Chips, Sangwook Han từ nhóm thiết kế DRAM của Samsung đã trình bày, chính thức tiết lộ lộ trình ba giai đoạn của Samsung cho sự phát triển của HBM. Điểm cuối cùng của lộ trình này là một kiến trúc hoàn toàn mới có tên zHBM—kiến trúc này xếp chồng trực tiếp và theo chiều dọc DRAM lên các chip xử lý như GPU và TPU, loại bỏ hoàn toàn lớp trung gian 2.5D.

Theo một báo cáo của wccftech vào ngày 23 tháng 8, Samsung cho biết so với chuẩn HBM4E thông thường, giải pháp zHBM đạt được mức giảm 70% điện năng tiêu thụ, tăng 230% băng thông DRAM và tiết kiệm 100W điện năng cho mỗi mô-đun DRAM, đồng thời giải phóng thêm 8,3% điện năng dự trữ cho GPU.

HBM là gì và những điểm nghẽn nằm ở đâu?

HBM, hay bộ nhớ băng thông cao, là một trong những thành phần lưu trữ quan trọng nhất trong các hệ thống huấn luyện và suy luận AI hiện nay. Nó bao gồm hai loại chip:

Chip lõi (C-die) : Chứa các ô nhớ DRAM và có thể được xếp chồng lên nhau theo chiều dọc tối đa 16 lớp.

B-die (Base Die) : Nằm ở đáy của toàn bộ cấu trúc xếp chồng, nó chịu trách nhiệm xử lý các chức năng điều khiển DRAM khác nhau và giao tiếp với các chip xử lý như GPU thông qua PHY (Physical Interface Layer).

Hai thành phần này được kết nối với nhau thông qua TSV (Through-Silicon Via) – một kênh dẫn điện thẳng đứng xuyên qua chip.

Theo Wccftech, băng thông của mỗi khối HBM4 hiện nay vượt quá 3TB/s, HBM4E tiến xa hơn nữa lên đến phạm vi 4TB/s, và HBM5 gấp đôi băng thông của HBM4, với dung lượng vượt quá 60GB.

Tuy nhiên, việc tiếp tục mở rộng băng thông phải đối mặt với hai hạn chế chính: giới hạn vật lý về số lượng và khoảng cách giữa các TSV , và giới hạn trên về số lượng và tốc độ I/O của giao diện PHY trong Base Die . Đồng thời, khoảng cách thế hệ công nghệ giữa B-die và chip xử lý (xPU SoC) đang thu hẹp dần qua từng thế hệ, điều này vừa là thách thức vừa là điểm khởi đầu cho lộ trình của Samsung.

Giai đoạn 1: Tạo không gian cho các chip xử lý

Mục tiêu cốt lõi của giai đoạn đầu trong lộ trình của Samsung là "tái sử dụng" diện tích silicon từ các xPU (chip xử lý) .

Samsung đã áp dụng quy trình logic D1c và 4nm cho chip cơ sở HBM4 (B-die), chủ yếu để giảm mức tiêu thụ điện năng và thu nhỏ diện tích hoạt động. Điều này đánh dấu sự khởi đầu của quá trình tích hợp thực sự giữa DRAM và các quy trình logic tiên tiến.

Các biện pháp cụ thể bao gồm:

Việc thay thế PHY HBM truyền thống bằng giao diện D2D giúp rút ngắn chiều dài kênh, trực tiếp cải thiện hiệu quả năng lượng, đồng thời giải phóng không gian silicon quý giá cho XPU.

Việc chuyển bộ điều khiển bộ nhớ từ XPU sang chip cHBM B dự kiến sẽ giải phóng từ 5% đến 10% diện tích của XPU, tương ứng với mức cải thiện hiệu năng từ 10% đến 20%.

Giới thiệu một lược đồ sửa chữa dựa trên SRAM chi tiết (Sửa chữa ô dựa trên SRAM gần MC), tận dụng không gian nhàn rỗi trên chip B để triển khai các tài nguyên sửa chữa SRAM.

Một tác dụng phụ của việc giảm diện tích là vấn đề điểm nóng. Để giải quyết vấn đề này, Samsung đã giới thiệu công nghệ Khối dẫn nhiệt (HPB), được xây dựng trên nền tảng giải pháp cHBM4, có thể giảm nhiệt độ đỉnh hơn 35% và bao phủ 50% diện tích PHY.

Giai đoạn hai: Chip B bắt đầu "phát triển" sức mạnh tính toán

Trọng tâm của giai đoạn thứ hai đã chuyển từ "tạo không gian" sang "thêm tính năng", mà Samsung định nghĩa là giai đoạn mở rộng tính năng .

Mở rộng dung lượng bộ nhớ. Khi cửa sổ ngữ cảnh của các mô hình AI lớn mở rộng đáng kể, nhu cầu về bộ nhớ đệm cặp khóa-giá trị (vùng nhớ được sử dụng để lưu trữ các trạng thái trung gian trong quá trình suy luận của mô hình) đang tăng lên theo cấp số nhân. Samsung dự định tích hợp bộ điều khiển mở rộng bộ nhớ và PHY trên vùng silicon chưa sử dụng của chip cơ bản, mở rộng dung lượng bộ nhớ khả dụng của hệ thống thông qua các giải pháp LPDDR hoặc HBM bên ngoài.

Các đơn vị xử lý tích hợp (PE). Samsung cũng đề xuất tích hợp một số phần tử xử lý tính toán (Processing Elements) trên chip cơ bản, chuyển một số phép tính lẽ ra cần thực hiện trên xPU sang phía bộ nhớ, nhờ đó giảm yêu cầu băng thông D2D, mức tiêu thụ điện năng và gánh nặng nhiệt. Kiểu thiết kế này được gọi là AHBM (Advanced HBM).

Nâng cao độ tin cậy và khả năng kiểm thử. Giai đoạn thứ hai cũng bao gồm việc tích hợp các cảm biến RAS (Độ tin cậy, Khả dụng, Khả năng bảo trì) tiên tiến và các chức năng đo từ xa theo thời gian thực, cũng như khả năng tự kiểm tra trên chip (ATIP), vào Base Die để cải thiện năng suất và phạm vi kiểm thử.

Giai đoạn 3: zHBM – Loại bỏ lớp trung gian, DRAM được tích hợp trực tiếp vào chip xử lý.

Giai đoạn thứ ba là hình thức cuối cùng của toàn bộ lộ trình: zHBM .

Các hệ thống AI chính thống hiện nay sử dụng kiến trúc đóng gói 2.5D, trong đó GPU và HBM được đặt cạnh nhau trên cùng một bộ chuyển đổi, truyền dữ liệu thông qua các kết nối ngang. Cách tiếp cận của zHBM là tích hợp cấu trúc này theo chiều dọc — bằng cách xếp chồng DRAM trực tiếp lên chip xPU, tạo thành sự tích hợp dọc 3D thực sự.

Samsung mô tả các tính năng chính của zHBM bao gồm:

I/O phân tán : Giảm thiểu khoảng cách truyền dữ liệu trong ngăn xếp HBM.

Cấu trúc 3D : Loại bỏ giao diện 2D truyền thống, giúp cải thiện đáng kể hiệu quả hệ thống.

Mức tiêu thụ điện năng I/O mục tiêu xấp xỉ 0,5 pJ/bit : đạt được bằng cách loại bỏ các mô-đun dư thừa như SerDes.

Băng thông tăng hơn 2,3 lần, công suất tản nhiệt của hệ thống đạt 100W.

Giải pháp trình diễn của Samsung bao gồm việc xếp chồng một lớp zHBM bốn lớp lên trên một XPU.

Để đạt được những mục tiêu này, Samsung đang phát triển hai công nghệ đóng gói chủ chốt: WoW (Wafer on Wafer) và HCB (Hybrid Cube Bonding) nhằm đạt được mật độ I/O cực cao và cuối cùng là xây dựng một hệ thống đồng thiết kế SoC-DRAM thống nhất.

Nguyên tắc cốt lõi đằng sau lộ trình

Nội dung chính trong bài thuyết trình của Samsung là định vị lại chip Base Die của HBM từ một "trạm truyền dữ liệu thụ động" thành một "đối tác thông minh với khả năng tính toán chủ động".

Logic tiến hóa của ba giai đoạn rất rõ ràng: đầu tiên, diện tích được thu hẹp và không gian xPU được giải phóng thông qua nâng cấp quy trình (giai đoạn một); sau đó, nhiều chức năng hơn được tích hợp và dung lượng cũng như sức mạnh tính toán được mở rộng bằng cách tận dụng không gian được giải phóng (giai đoạn hai); cuối cùng, kiến trúc hệ thống được tái cấu trúc hoàn toàn thông qua tích hợp dọc 3D, đạt được những đột phá về mức tiêu thụ điện năng, băng thông và quản lý nhiệt đồng thời (giai đoạn ba).

Trong phần kết luận, Samsung tuyên bố: "Bằng cách làm chủ công nghệ đóng gói tiên tiến và thiết kế đồng bộ SoC-DRAM, chúng tôi sẽ vượt qua những hạn chế về mức tiêu thụ điện năng, diện tích và dung lượng đang kìm hãm các hệ thống AI, mở đường cho hiệu quả cao hơn, hiệu năng cao hơn và khả năng mở rộng lớn hơn trong những năm tới."