Samsung, üç aşamalı bir HBM yol haritası çizdi: gerçek 3D ZHBM'ye doğru ilerlemek ve DRAM'i doğrudan işlem çipinin üzerine yerleştirmek.

Samsung'un üç aşamalı HBM evrim yol haritası, DRAM'i bilgi işlem yongalarının üzerine dikey olarak istifleyen "zHBM" mimarisine ulaşmayı hedefliyor. Samsung, zHBM'nin HBM4E'ye kıyasla güç tüketiminde %70 azalma ve bant genişliğinde %230 artış sağladığını, ayrıca GPU için ek 100W termal alan sağladığını iddia ediyor.

Geçtiğimiz günlerde Hot Chips teknoloji konferansında Samsung'un DRAM tasarım ekibinden Sangwook Han bir sunum yaparak, Samsung'un HBM'nin evrimi için üç aşamalı yol haritasını resmen açıkladı. Bu yol haritasının son noktası, zHBM adı verilen yepyeni bir mimaridir; bu mimari, DRAM'i GPU'lar ve TPU'lar gibi bilgi işlem çiplerine doğrudan ve dikey olarak yerleştirerek 2.5D ara katmanı tamamen ortadan kaldırır.

Wccftech'in 23 Ağustos tarihli bir raporuna göre Samsung, standart HBM4E'ye kıyasla zHBM çözümünün güç tüketiminde %70 azalma, DRAM bant genişliğinde %230 artış ve DRAM modülü başına 100W güç tasarrufu sağladığını, ayrıca GPU için %8,3 ek güç alanı açtığını belirtti.

HBM nedir ve darboğazlar nerede?

HBM veya yüksek bant genişliğine sahip bellek, günümüz yapay zeka eğitim ve çıkarım sistemlerinde en kritik depolama bileşenlerinden biridir. İki tür çipten oluşur:

C-die (çekirdek çip) : DRAM bellek hücreleri içerir ve dikey olarak 16 kata kadar üst üste istiflenebilir.

B-die (Temel Çip) : Tüm yığın yapısının en altında yer alır ve çeşitli DRAM kontrol fonksiyonlarını yönetmekten ve PHY (Fiziksel Arayüz Katmanı) aracılığıyla GPU'lar gibi bilgi işlem çipleriyle iletişim kurmaktan sorumludur.

İkisi, çipin içine nüfuz eden dikey bir iletken kanal olan TSV (Through-Silicon Via) aracılığıyla birbirine bağlanır.

Wccftech'e göre, her bir HBM4 yığınının bant genişliği şu anda 3 TB/s'yi aşıyor, HBM4E 4 TB/s aralığına kadar yükseliyor ve HBM5, HBM4'ün bant genişliğini ikiye katlayarak 60 GB'ı aşan bir kapasiteye ulaşıyor.

Ancak, bant genişliğinin sürekli genişlemesi iki önemli kısıtlamayla karşı karşıyadır: TSV'lerin sayısı ve aralığının fiziksel sınırları ve Temel Kalıp içindeki PHY arayüzünün G/Ç sayısının ve hızının üst sınırı . Aynı zamanda, B-kalıp ile bilgi işlem çipi (xPU SoC) arasındaki işlem nesli farkı nesilden nesile daralmaktadır; bu hem bir zorluk hem de Samsung'un yol haritası için bir başlangıç noktasıdır.

Aşama 1: Bilgisayar çipleri için yer açma

Samsung'un yol haritasının ilk aşamasının temel amacı , xPU'lardan (işlemci yongaları) silikon alanını "geri kazanmaktır" .

Samsung, öncelikle güç tüketimini azaltmak ve etkili alanı küçültmek amacıyla HBM4 Temel Çipine (B-die) D1c ve 4nm mantık süreçlerini uyguladı. Bu, DRAM ve gelişmiş mantık süreçlerinin gerçek entegrasyonunun başlangıcını işaret ediyor.

Belirli önlemler şunlardır:

Geleneksel HBM PHY'nin D2D arayüzü ile değiştirilmesi, kanal uzunluğunu kısaltarak enerji verimliliğini doğrudan artırırken, XPU için değerli silikon alanını da serbest bırakır.

Bellek denetleyicisinin XPU'dan cHBM B-die'a aktarılması, XPU alanının %5 ila %10'unu boşaltarak %10 ila %20 performans artışı sağlaması bekleniyor.

B-die üzerindeki boş alanı kullanarak SRAM onarım kaynaklarını devreye sokan, hassas bir SRAM tabanlı onarım şeması (Near-MC SRAM-Based Cell Repair) sunuyoruz.

Alanın küçülmesinin bir yan etkisi de sıcak nokta sorunudur. Bu sorunu çözmek için Samsung, cHBM4 çözümü üzerine kurulu Isı Yolu Bloğu (HPB) teknolojisini tanıttı. Bu teknoloji, en yüksek sıcaklıkları %35'ten fazla azaltabiliyor ve PHY alanının %50'sini kapsıyor.

İkinci Aşama: B-die işlemci gücü "üretmeye" başlar.

İkinci aşamanın odağı "alan yaratmaktan" "özellik eklemeye" kaydı; Samsung bunu özellik genişletme aşaması olarak tanımlıyor.

Bellek kapasitesinin genişletilmesi. Büyük yapay zeka modellerinin bağlam penceresi önemli ölçüde genişledikçe, anahtar-değer önbelleklerine (model çıkarımı sırasında ara durumları depolamak için kullanılan bellek alanı) olan talep katlanarak artmaktadır. Samsung, sistemin kullanılabilir bellek kapasitesini harici LPDDR veya HBM çözümleri aracılığıyla genişletmek için, temel yonganın kullanılmayan silikon alanına bir bellek genişletme denetleyicisi ve PHY entegre etmeyi planlıyor.

Entegre İşlem Birimleri (PE'ler). Samsung ayrıca, bazı hesaplama işlemlerini (İşlem Elemanları) Temel Kalıp üzerine entegre etmeyi ve aksi takdirde xPU'da gerçekleştirilmesi gereken bazı hesaplamaları bellek tarafına aktararak D2D bant genişliği gereksinimlerini, güç tüketimini ve termal yükü azaltmayı önerdi. Bu form faktörüne AHBM (Gelişmiş HBM) adı verilir.

Güvenilirliği ve test yeteneklerini geliştirin. İkinci aşama ayrıca, verimliliği ve test kapsamını iyileştirmek için gelişmiş RAS (Güvenilirlik, Kullanılabilirlik, Servis Edilebilirlik) sensörlerinin ve gerçek zamanlı telemetri fonksiyonlarının yanı sıra çip üzerinde kendi kendine test (ATIP) yeteneklerinin de Temel Kalıp'a entegre edilmesini içerir.

3. Aşama: zHBM – Ara katman ortadan kaldırılarak, DRAM doğrudan işlem çipine uygulanır.

Üçüncü aşama, tüm yol haritasının nihai biçimidir: zHBM .

Günümüzdeki yaygın yapay zeka sistemleri, GPU ve HBM'nin aynı ara bağlantı üzerinde yan yana yerleştirildiği ve verilerin yatay ara bağlantılar aracılığıyla iletildiği 2.5 boyutlu bir paketleme mimarisi kullanmaktadır. zHBM yaklaşımı ise bu yapıyı "dikey" olarak entegre etmeyi amaçlamaktadır; yani DRAM'i doğrudan xPU çipinin üzerine yerleştirerek gerçek 3 boyutlu dikey entegrasyon oluşturmaktadır.

Samsung, zHBM'nin temel özelliklerini şu şekilde açıklıyor:

Dağıtılmış G/Ç : HBM yığını içindeki veri aktarım mesafesini en aza indirme

3D yapı : Geleneksel 2D arayüzleri ortadan kaldırarak sistem verimliliğini önemli ölçüde artırır.

Hedeflenen G/Ç güç tüketimi yaklaşık 0,5 pJ/bit'tir : bu, SerDes gibi gereksiz modüllerin kaldırılmasıyla elde edilir.

Bant genişliği 2,3 kattan fazla artırıldı, sistemin termal kapasitesi 100W'a ulaştı.

Samsung'un gösteri çözümü, bir XPU'nun üzerine dört katmanlı bir zHBM katmanı yerleştirmeyi içeriyordu.

Bu hedeflere ulaşmak için Samsung, ultra yüksek G/Ç yoğunluğu elde etmek ve nihayetinde birleşik bir SoC-DRAM ortak tasarım sistemi oluşturmak amacıyla iki temel paketleme teknolojisi geliştiriyor: WoW (Wafer on Wafer) ve HCB (Hybrid Cube Bonding).

Yol haritasının ardındaki temel mantık

Samsung'un sunumunun temel anlatısı, HBM'nin Base Die'sini "pasif veri aktarım istasyonundan" "aktif bilgi işlem yeteneklerine sahip akıllı bir ortağa" dönüştürmekti.

Üç aşamanın evrim mantığı açıktır: önce, işlem yükseltmeleri yoluyla alan küçültülür ve xPU alanı serbest bırakılır (birinci aşama); daha sonra, serbest bırakılan alan kullanılarak daha fazla işlev entegre edilir ve kapasite ile işlem gücü genişletilir (ikinci aşama); son olarak, 3 boyutlu dikey entegrasyon yoluyla sistem mimarisi tamamen yeniden yapılandırılır ve aynı anda güç tüketimi, bant genişliği ve termal yönetimde atılımlar sağlanır (üçüncü aşama).

Samsung, kapanış konuşmasında şunları belirtti: "Gelişmiş paketleme ve birleşik SoC-DRAM ortak tasarımında uzmanlaşarak, yapay zeka sistemlerini kısıtlayan güç tüketimi, alan ve kapasite darboğazlarının üstesinden geleceğiz ve önümüzdeki yıllarda daha yüksek verimlilik, daha yüksek performans ve daha fazla ölçeklenebilirlik için yol açacağız."