A Samsung delineia um roteiro de três etapas para a HBM: avançando em direção à verdadeira ZHBM 3D e empilhando a DRAM diretamente no chip de computação.

O roteiro de evolução da HBM da Samsung, dividido em três estágios, visa alcançar a arquitetura "zHBM", que empilha verticalmente a DRAM sobre os chips de computação. A Samsung afirma que a zHBM oferece uma redução de 70% no consumo de energia e um aumento de 230% na largura de banda em comparação com a HBM4E, além de liberar 100W adicionais de margem térmica para a GPU.

Recentemente, na conferência de tecnologia Hot Chips, Sangwook Han, da equipe de design de DRAM da Samsung, fez uma apresentação revelando oficialmente o roteiro de três etapas da Samsung para a evolução da HBM. O ponto final desse roteiro é uma arquitetura totalmente nova chamada zHBM, que empilha DRAM diretamente e verticalmente em chips de computação, como GPUs e TPUs, eliminando completamente o interposer 2.5D.

Segundo uma reportagem da wccftech de 23 de agosto, a Samsung afirmou que, em comparação com o HBM4E padrão, a solução zHBM promete uma redução de 70% no consumo de energia, um aumento de 230% na largura de banda da DRAM e uma economia de energia de 100W por módulo de DRAM, além de liberar 8,3% de energia adicional para a GPU.

O que é HBM e onde estão os gargalos?

A HBM, ou Memória de Alta Largura de Banda, é um dos componentes de armazenamento mais importantes nos sistemas atuais de treinamento e inferência de IA. Ela consiste em dois tipos de chips:

Chip C (chip principal) : Contém células de memória DRAM e pode ser empilhado verticalmente em até 16 camadas.

B-die (Base Die) : Localizado na parte inferior de toda a estrutura da pilha, é responsável por lidar com várias funções de controle da DRAM e se comunicar com chips de computação, como GPUs, através da PHY (Physical Interface Layer).

Os dois são conectados por meio de um TSV (Through-Silicon Via) – um canal condutor vertical que penetra no chip.

Segundo a Wccftech, a largura de banda de cada pilha HBM4 atualmente ultrapassa 3 TB/s, a HBM4E avança ainda mais para a faixa de 4 TB/s e a HBM5 dobra a largura de banda da HBM4, com uma capacidade superior a 60 GB.

No entanto, a expansão contínua da largura de banda enfrenta duas grandes limitações: os limites físicos do número e espaçamento dos TSVs (vetores de estado sólido) e o limite superior do número e da velocidade de E/S da interface PHY (camada física) dentro do chip base . Ao mesmo tempo, a diferença de geração de processo entre o chip base e o chip de computação (SoC xPU) está diminuindo a cada geração, o que representa tanto um desafio quanto um ponto de partida para o roteiro da Samsung.

Fase 1: Abrindo espaço para chips de computação

O principal objetivo da primeira fase do plano estratégico da Samsung é "recuperar" a área de silício das xPUs (chips de computação) .

A Samsung aplicou os processos de lógica D1c e de 4 nm ao chip base HBM4 (B-die), principalmente para reduzir o consumo de energia e diminuir a área efetiva. Isso marca o início da verdadeira integração da DRAM com os processos de lógica avançada.

As medidas específicas incluem:

A substituição da camada física HBM tradicional por uma interface D2D reduz o comprimento do canal, melhorando diretamente a eficiência energética e liberando espaço valioso no silício para a XPU.

A transferência do controlador de memória da XPU para o chip cHBM B-die deverá liberar de 5% a 10% da área da XPU, o que corresponde a uma melhoria de desempenho de 10% a 20%.

Apresentamos um esquema de reparo de granularidade fina baseado em SRAM (Near-MC SRAM-Based Cell Repair), que utiliza o espaço ocioso no chip B para implantar recursos de reparo de SRAM.

Um dos efeitos colaterais da área reduzida é o problema dos pontos quentes. Para solucionar isso, a Samsung introduziu a tecnologia Heat Path Block (HPB), construída sobre a solução cHBM4, que pode reduzir as temperaturas máximas em mais de 35% e cobrir 50% da área da camada física (PHY).

Fase Dois: O chip B-die começa a "aumentar" sua capacidade de processamento.

O foco da segunda fase mudou de "criar espaço" para "adicionar recursos", o que a Samsung define como a fase de expansão de recursos .

Expansão da capacidade de memória. À medida que a janela de contexto de grandes modelos de IA se expande drasticamente, a demanda por caches de chave-valor (a área de memória usada para armazenar estados intermediários durante a inferência do modelo) está crescendo exponencialmente. A Samsung planeja integrar um controlador de expansão de memória e uma camada física (PHY) na área de silício não utilizada do chip base, expandindo a capacidade de memória disponível do sistema por meio de soluções externas de LPDDR ou HBM.

Unidades de Processamento Integradas (PEs). A Samsung também propôs integrar alguns elementos de processamento (Processing Elements) no chip base, transferindo parte dos cálculos que, de outra forma, precisariam ser realizados na xPU para a memória, reduzindo assim os requisitos de largura de banda D2D, o consumo de energia e a carga térmica. Esse formato é chamado de AHBM (Advanced HBM).

Aprimorar a confiabilidade e as capacidades de teste. A segunda fase também inclui a integração de sensores RAS (Confiabilidade, Disponibilidade e Manutenibilidade) avançados e funções de telemetria em tempo real, bem como recursos de autoteste on-chip (ATIP), no chip base para melhorar o rendimento e a cobertura de testes.

Fase 3: zHBM – Eliminando a camada intermediária, a DRAM é aplicada diretamente ao chip de computação.

A terceira fase é a forma final de todo o roteiro: zHBM .

Os sistemas de IA convencionais atuais utilizam uma arquitetura de encapsulamento 2.5D, onde a GPU e a HBM são colocadas lado a lado no mesmo interposer, transmitindo dados por meio de interconexões horizontais. A abordagem zHBM consiste em integrar essa estrutura "verticalmente" — empilhando a DRAM diretamente no chip xPU, formando uma verdadeira integração vertical 3D.

A Samsung descreve as principais características do zHBM como incluindo:

E/S distribuída : minimizando a distância de transferência de dados dentro da pilha HBM.

Estrutura 3D : Elimina as interfaces 2D tradicionais, melhorando significativamente a eficiência do sistema.

Meta de consumo de energia de E/S de aproximadamente 0,5 pJ/bit : alcançada pela remoção de módulos redundantes, como SerDes.

A largura de banda aumentou mais de 2,3 vezes e a margem térmica do sistema atingiu 100 W.

A solução demonstrativa da Samsung envolvia o empilhamento de uma camada zHBM de quatro camadas sobre uma XPU.

Para atingir esses objetivos, a Samsung está desenvolvendo duas tecnologias de encapsulamento essenciais: WoW (Wafer on Wafer) e HCB (Hybrid Cube Bonding) para alcançar uma densidade de E/S ultra-alta e, em última instância, construir um sistema unificado de co-design SoC-DRAM.

A lógica central por trás do roteiro

A narrativa central da apresentação da Samsung foi reposicionar o Base Die da HBM, de uma "estação passiva de transferência de dados" para um "parceiro inteligente com capacidades de computação proativas".

A lógica evolutiva das três etapas é clara: primeiro, a área é reduzida e o espaço da xPU é liberado por meio de atualizações de processo (primeira etapa); em seguida, mais funções são integradas e a capacidade e o poder de computação são expandidos utilizando o espaço liberado (segunda etapa); finalmente, a arquitetura do sistema é completamente reconstruída por meio da integração vertical 3D, alcançando avanços simultâneos no consumo de energia, largura de banda e gerenciamento térmico (terceira etapa).

Em suas considerações finais, a Samsung afirmou: "Ao dominarmos a embalagem avançada e o design conjunto unificado de SoC-DRAM, superaremos os gargalos de consumo de energia, área e capacidade que limitam os sistemas de IA, abrindo caminho para maior eficiência, maior desempenho e maior escalabilidade nos próximos anos."