HBM (High Bandwidth Memory)

정의 및 배경

HBM(High Bandwidth Memory)은 기존 메모리보다 훨씬 높은 대역폭을 제공하는 3D 적층형 DRAM 아키텍처다. HBM은 실리콘 관통전극(TSV)을 이용해 여러 DRAM 다이를 수직으로 쌓고, 실리콘 인터포저를 통해 프로세서와 연결한다. 현세대인 HBM3E는 스택당 1 TB/s 이상의 대역폭을 제공하며, 이는 표준 DDR5 메모리보다 약 5–10배 빠른 수준이다.

AI 학습 및 추론 워크로드는 근본적으로 메모리 대역폭에 의해 제약을 받는다. 대규모 언어 모델은 GPU 연산 코어에 데이터를 충분히 빠르게 공급하기 위해 대규모 병렬 메모리 접근이 필요하다. HBM 대역폭이 충분하지 않으면 GPU 활용률이 떨어지고 실질 처리량이 급격히 감소한다. NVIDIA H100 GPU는 각각 80GB의 HBM3를 사용하며, B200은 최대 192GB의 HBM3E를 사용한다. SK하이닉스는 HBM 시장의 약 50%를, 삼성은 약 40%를, Micron은 약 10%를 점유하고 있다. HBM의 생산 공정은 표준 DRAM보다 훨씬 복잡하다 — TSV 드릴링, 웨이퍼 박막화, 정밀 적층 공정으로 인해 수율이 낮아지고 비트당 비용이 기존 DRAM 대비 3–5배 증가한다. HBM4는 2026년 양산 출하 단계에 진입했다: Micron은 36GB 12단 HBM4 출하를 시작했고, SK하이닉스는 12단 및 16단 제품으로 HBM4 개발을 조기에 완료해 2026년 6월 HBM4E 샘플을 출하했으며, 삼성은 2026년 초 HBM4 양산을 시작했다 — 동일한 용량 및 가격 결정력 사이클의 다음 라운드다.

투자자에게 중요한 이유

HBM은 AI 컴퓨팅의 메모리 병목 지점이다. 대규모 언어 모델과 AI 학습 워크로드는 메모리 대역폭에 의해 제약을 받으며 — 메모리와 GPU 간 데이터 이동 속도가 처리량을 결정한다. HBM은 DRAM 다이를 수직으로 적층하고 실리콘 관통전극(TSV)으로 연결해 이 문제를 해결하며, 기존 메모리 대비 5-10배 높은 대역폭을 달성한다.

HBM 시장은 SK하이닉스(약 50% 점유율)와 삼성(약 40%)이 장악하고 있으며, Micron은 그보다 훨씬 뒤처진 3위다. HBM은 표준 DRAM보다 5-10배 높은 평균판매단가(ASP)를 형성해 역사상 마진율이 가장 높은 메모리 제품이 되었다. NVIDIA의 모든 Blackwell GPU는 다수의 HBM 스택을 필요로 하며, 이는 GPU 출하량과 HBM 수요 사이의 직접적인 연결 고리를 만든다. HBM3E에서 HBM4로의 전환은 용량 제약과 가격 결정력 사이클의 또 다른 라운드를 의미한다.

관련 개념

HBM은 CoWoS 패키징(HBM 스택은 CoWoS를 통해 GPU에 본딩된다), 메모리 벽(Memory Wall) 이론, 그리고 Micron이 선행 지표 역할을 하는 Sentinel Ticker 프레임워크와 연결되어 있다.