Bernstein Yedi Bellek Teknolojisini Değerlendirdi: HBM'den Sonra DRAM ve NAND Bir Sonraki Trilyon Dolarlık Pazar İçin Yarışıyor

Son iki yılda, yapay zeka depolama pazarının anlatısı neredeyse tamamen HBM etrafında dönüyordu. Ancak büyük modeller eğitimden büyük ölçekli çıkarıma geçtikçe, yalnızca HBM eklemek tüm sorunları çözmekte yetersiz kalıyor.

Bernstein'ın yayımladığı son küresel depolama raporunda, farklı yapay zeka iş yüklerinin bellek gereksinimlerinin belirgin şekilde farklılaştığı belirtiliyor: Eğitim, hesaplama gücü ve bant genişliğini vurgularken; çıkarımın kod çözme aşaması kapasiteye daha fazla bağımlı, RAG büyük ölçekli veritabanlarına ihtiyaç duyuyor ve etmen iş akışları hem geleneksel sunucuların hem de yapay zeka sunucularının yükünü aynı anda artırıyor.

Bu, yapay zekanın getirdiği değişimin HBM'den sistem DRAM'ine, SSD'lere, HDD'lere ve hatta teyp depolamaya doğru yayıldığı anlamına geliyor. "Bellek duvarı" etrafında, endüstri zinciri performans, kapasite ve maliyet arasında yeni bir denge bulmak amacıyla mevcut katmanlar arasına yeni ürünler eklemeye başladı.

Çıkarım Ölçeğinin Üst Sınırı KV Önbelleğine Bağlı Olabilir

Büyük model eğitimi aşamasında, GPU ve HBM hâlâ merkezi konumda.

Eğitim, model parametrelerinin ve ara verilerin sık okunmasını gerektirir; bu da hesaplama gücü ve bellek bant genişliği açısından yüksek talepler doğurur. Ancak büyük bir modelin eğitimi yalnızca HBM'e dayanmaz: Ham veri setlerinin daha düşük maliyetli depolama ortamlarında saklanması gerekir; veriler GPU'ya girmeden önce genellikle sistem DRAM'i ve yerel SSD'ler tarafından önbelleğe alınır ve ön işlenir; haftalar hatta aylar süren eğitim, donanım veya yazılım arızalarının görevi baştan başlatmasını önlemek için düzenli olarak kontrol noktaları kaydetmeyi gerektirir.

Bu nedenle, büyük ölçekli bir eğitim aslında HBM'den sistem DRAM'ine, yerel SSD'lere ve ağ depolamaya kadar tüm sistemi devreye sokar.

Çıkarım aşamasına geçildiğinde, bellek gereksinimleri daha da farklılaşır.

Çıkarım genellikle ön doldurma (Prefill) ve kod çözme (Decode) olmak üzere iki aşamaya ayrılabilir. Ön doldurma, kullanıcı girdisini işleyip ilk token'ı üretir; büyük ölçekli matris işlemleri gerçekleştirir ve daha çok "hesaplama sınırlı"dır. Bu aşamada GPU kullanımı ve HBM bant genişliği daha önemlidir; yaygın metrik ilk token gecikmesidir.

Kod çözme aşaması ise farklıdır. Model, token'ları tek tek üretmeli ve yeni token üretirken daha önce üretilen bilgileri çağırmalıdır. Tekrarlanan hesaplamayı önlemek için sistem genellikle bu verileri KV önbelleğinde (KV Cache) saklar.

KV önbelleğinin iki önemli özelliği vardır: Kapasitesi bağlam uzunluğuyla doğrusal olarak artar ve her kullanıcı bağımsız bir önbelleğe ihtiyaç duyar. Bu nedenle, bağlam uzadığında ve eşzamanlı kullanıcı sayısı arttığında, bu iki faktör birlikte bellek kullanımını artırır.

Bernstein'a göre, büyük ölçekli yapay zeka dağıtımlarında KV önbelleğinin kapladığı bellek, model ağırlıklarını aşarak eşzamanlı kullanıcı sayısını ve bağlam penceresini sınırlayan ana faktör haline gelebilir. Modelin kaç kullanıcıya hizmet verebileceği ve ne kadar uzun bağlamı sürdürebileceği, sonuçta gelir ölçeğini doğrudan etkiler.

Bu açıdan bakıldığında, çıkarım çağında rekabetin odak noktası yalnızca çipin ne kadar hesaplama yapabildiği değil, aynı zamanda sistemin sürekli genişleyen bağlamı ne kadar düşük maliyetle saklayıp okuyabildiğidir.

RAG ve Etmenler, Talebi Geleneksel Belleğe Yönlendiriyor

RAG ve etmenlerin yaygınlaşması, yapay zeka depolama talebini HBM'in ötesine taşıyor.

RAG temel olarak veritabanı oluşturma ve veritabanı sorgulama olmak üzere iki aşamadan oluşur. Veritabanı oluşturulurken sistem, PDF'ler, web sayfaları, kod gibi çok sayıda yapılandırılmamış veriyi işlemeli ve bunları aranabilir vektörlere ve dizinlere dönüştürmelidir. Bu süreç daha çok yüksek kapasiteli SSD'lere ve sistem DRAM'ine dayanır; HBM'in rolü nispeten sınırlıdır.

Veritabanı oluşturulduktan sonra, kullanıcı sorguları önce vektörlere dönüştürülür ve ardından veritabanındaki içerikle eşleştirilir. Vektör üretimi GPU ve HBM'de hızlıca tamamlanabilir, ancak asıl arama genellikle sistem DRAM'ine daha fazla bağımlıdır. Sorgulama sonuçları daha sonra kullanıcı sorusuyla birleştirilir ve normal ön doldurma ve kod çözme akışına girer.

Etmen iş akışlarının getirdiği yük daha ağırdır.

Geleneksel diyaloglar genellikle "girdi—model—çıktı" şeklinde tek bir çağrıdır; etmenler ise hedefi birden çok adıma bölmeli, diğer modelleri veya harici araçları çağırmalı, ara sonuçları saklamalı ve geri bildirime göre yeniden planlamalıdır. Her çağrının ürettiği sonuç, bir sonraki model çağrısının girdisi olabilir.

Bu, iki tür talebi aynı anda artırır: Bir yandan, araç çağrıları ve yapay zeka dışı görevler daha fazla CPU ve sistem belleği gerektirir; diğer yandan, birden çok model arasında sürekli bağlam aktarımı, ön doldurma, kod çözme ve KV önbelleği yükünü hızla büyütür.

Dolayısıyla, etmen uygulamalarının gelişimi yalnızca GPU ve HBM'e değil, aynı zamanda sunucu DRAM'i, kurumsal SSD'ler ve daha düşük maliyetli depolama ortamlarına olan talebi de artırabilir.

HBM ile SSD Arasında Yeni Bellek Katmanları Filizleniyor

Geleneksel sunucuların bellek sistemi kabaca işlemci içi önbellek, sistem DRAM'i, yerel SSD ve paylaşımlı depolama olarak ayrılabilir. Yapay zeka sunucuları bu yapıya HBM ekler, ancak HBM'in kapasitesi sınırlı ve maliyeti yüksektir; tüm verileri taşıması zordur.

Endüstri zincirinin mevcut çözümü, farklı katmanlar arasına yeni ürünler eklemektir.

CXL, fiziksel olarak dağıtılmış belleği paylaşılan bir kaynak havuzuna entegre etmeyi hedefler; böylece CPU, GPU ve genişletme cihazları DRAM'i daha esnek şekilde çağırabilir. Bazı ürünler ayrıca DRAM veya SRAM'i önbellek olarak kullanıp NAND ile birleştirerek maliyeti düşürürken erişim gecikmesini kısaltır.

Nvidia'nın desteklediği "Storage Next", depolama yönetiminin bir kısmını CPU'dan GPU'ya taşımayı ve NAND'in DRAM'e daha yakın gecikme, IOPS ve veri erişim granülerliği elde etmesini sağlamayı amaçlar. Kioxia'nın XL-FLASH tabanlı GP serisi SSD'leri bu yönün temsilcisidir.

CMX esas olarak KV önbelleğini hedefler. SSD'leri bağımsız veri düğümlerine yerleştirir ve DPU, Ethernet ve anahtar çipleri aracılığıyla hesaplama düğümlerine bağlar. Amacı, farklı GPU'lar arasında çıkarım bağlamını paylaşarak tekrarlanan depolamayı azaltmak ve tek bir sunucunun bellek kapasitesi sınırını aşmaktır.

Bu çözümler ortak bir eğilime işaret ediyor: Yapay zeka sistemleri tüm aktif verileri uzun süre HBM'de tutamaz; verileri erişim sıklığına ve gecikme gereksinimlerine göre farklı katmanlara dağıtmak gerekir.

Sıcak veriler HBM'de kalır, bazı bağlamlar sistem DRAM'ine veya yüksek performanslı SSD'lere taşınır, daha soğuk veriler ise normal SSD'lere, HDD'lere ve hatta teybe iner. Bellek katmanları ne kadar ince olursa, sistemin performans ile maliyet arasında denge kurma olasılığı o kadar artar.

Yeni Teknolojiler Yoğun Şekilde Ortaya Çıkıyor, Ancak Ticarileşme Belirsizliğini Koruyor

"Bellek duvarı" etrafında endüstri zinciri birçok yeni yol önerdi.

Samsung'un zHBM'si, HBM'i işlemcinin üzerine yığarak veri iletim mesafesini daha da kısaltmayı planlıyor. Ancak bu tasarım, GPU'nun ürettiği ısıyı yönetmeyi ve plaka düzeyinde hibrit bağlamanın verim ve maliyet açısından daha yüksek gereksinimlerini karşılamayı gerektiriyor.

Nvidia'nın desteklediği NVHBM ise taban kalıbını Nvidia'nın tasarlamasını ve muhtemelen TSMC'nin üretmesini öngörüyor. Bu yaklaşım güç tüketimini azaltıp bant genişliğini artırabilir, ancak depolama üreticilerinin HBM taban kalıbı üzerindeki tasarım ve üretim değerini zayıflatabilir. Ürün standartlaştıkça, katma değerin bir kısmı depolama üreticilerinden Nvidia ve döküm fabrikalarına kayabilir.

SanDisk ve SK Hynix'in desteklediği HBF, NAND kullanarak HBM'e yakın bant genişliği sağlarken daha büyük kapasite ve daha düşük birim maliyet elde etmeyi hedefliyor. Ancak NAND ile DRAM arasında gecikme ve performans açısından hâlâ önemli bir fark var; HBF birden çok teknoloji katmanını aşmak zorunda ve uygulanması kolay değil.

Intel'in ZAM'i, DRAM kalıplarını 90 derece döndürerek ısı dağılımını iyileştirmeyi deniyor ve 2029 mali yılında pratik kullanıma ulaşmayı hedefliyor; Qualcomm'un HBC'si ise LPDDR ve geleneksel paketleme kullanarak bir miktar performanstan ödün verip CoWoS maliyetinden kaçınıyor.

Ayrıca PIM, işlemci ile bellek arasındaki veri taşımayı azaltmak için doğrudan bellek çiplerine hesaplama yeteneği eklemeyi deniyor. Ancak bu, mevcut hesaplama mimarisini değiştirir; işlemci, yazılım ve ağın birlikte uyum sağlamasını gerektirir ve zaten oldukça olgunlaşmış lojik çip ile bellek çipi iş bölümü sistemini sarsar. Bernstein'a göre, sektörde benimsenmesi hâlâ sınırlı.

Bu açıdan bakıldığında, yeni çözümlerin sayısının hızla artması, tüm yolların ölçeklenebilir bir pazar oluşturacağı anlamına gelmez. Mevcut yazılım ve donanım ekosistemiyle uyumluluk, maliyet avantajı ve tedarik zinciri taraflarının çıkar dengesini sağlayıp sağlayamaması, nihai ticarileşme sonucunu belirleyecektir.

Yapay Zeka Depolamanın Kazananları Yalnızca HBM Üreticileri Olmayacak

Yatırım açısından Bernstein'ın görüşü oldukça net: Yapay zekanın depolama endüstrisine etkisi, birkaç üst düzey üründen daha fazla katmana yayılıyor.

HBM, eğitim ve yüksek performanslı çıkarımın çekirdeği olmaya devam ediyor; Samsung Electronics, SK Hynix ve Micron yüksek bant genişlikli bellek talebinden yararlanmaya devam edecek. Ancak çıkarım ölçeği büyüdükçe, sistem DRAM'i ve NAND'in önemi artacak. KV önbelleği taşması, RAG veritabanları ve etmenlerin ürettiği çok sayıda ara veri, SSD ve paylaşımlı depolama talebini de artıracak.

Daha soğuk veriler aşağı inmeye devam edecek. Bernstein'a göre, yapay zekanın getirdiği veri büyümesi HDD'lere de fayda sağlamaya başladı; bazı senaryolarda NAND ve HDD kapasitesinin yetersiz kalması nedeniyle, geleneksel olarak arşivleme için kullanılan teyp talebi de artıyor.

Rapor, Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate ve Western Digital için "piyasa üstü getiri" notunu koruyor. Bunlardan Samsung Electronics, SK Hynix ve Micron DRAM ve HBM'e karşılık gelirken; SanDisk NAND ve HBF'den, Seagate ile Western Digital ise daha düşük maliyetli yüksek kapasiteli depolamadan faydalanıyor. Kioxia ise "piyasa altı getiri" olarak değerlendiriliyor.

Ancak bu raporun asıl değeri, bir dizi yeni teknoloji kısaltmasını listelemek değil, yapay zeka depolama pazarının sınırlarını yeniden tanımlamaktır.

Eğitim çağında darboğaz esas olarak GPU ve HBM'de yoğunlaşıyordu; çıkarım ve etmen çağında darboğaz tüm bellek sistemi boyunca yayılmaya başlıyor. Gelecekte yapay zeka altyapısındaki rekabet, hem çiplerin ne kadar hızlı hesaplayabildiğine hem de verilerin HBM, DRAM, NAND ve paylaşımlı depolama arasında yeterince düşük maliyetle verimli şekilde akıp akamadığına bağlı olacak.