術語表條目

HBM(高頻寬記憶體) HBM (High Bandwidth Memory)

垂直堆疊的DRAM晶粒,透過先進封裝技術與GPU連接。是AI加速器不可或缺的元件——HBM3E為目前世代,HBM4為下一世代。美光(Micron)與SK海力士(SK Hynix)掌控供應。

由英文原文自動翻譯。 閱讀英文原文 →

定義與背景

HBM(高頻寬記憶體)是一種3D堆疊DRAM架構,提供遠高於傳統記憶體的頻寬。HBM利用矽穿孔(TSV)技術將多個DRAM晶粒垂直堆疊,並透過矽中介層(silicon interposer)與處理器連接。目前世代的HBM3E每堆疊可提供超過1 TB/s的頻寬,大約比標準DDR5記憶體快5至10倍。

AI訓練與推論工作負載本質上受限於記憶體頻寬。大型語言模型需要大規模並行記憶體存取,才能以足夠快的速度將資料餵給GPU運算核心。若HBM頻寬不足,GPU使用率會下降,實際吞吐量隨之崩潰。每顆NVIDIA H100 GPU使用80GB的HBM3;B200則最高可使用192GB的HBM3E。SK海力士掌控約50%的HBM市場,三星(Samsung)約40%,美光約10%。HBM的生產流程遠比標準DRAM複雜——TSV鑽孔、晶圓薄化與精密堆疊會降低良率,並使每位元成本較傳統DRAM高出3至5倍。HBM4已於2026年進入量產出貨階段:美光開始出貨36GB 12層HBM4,SK海力士提前完成HBM4開發,推出12層與16層產品,並於2026年6月出貨HBM4E樣品,三星則於2026年初開始量產HBM4——這是同一產能與定價權循環的下一輪。

對投資人的意義

HBM是AI運算中的記憶體瓶頸。大型語言模型與AI訓練工作負載受限於記憶體頻寬——資料在記憶體與GPU之間傳輸的速度決定了吞吐量。HBM透過垂直堆疊DRAM晶粒並以矽穿孔(TSV)連接來解決此問題,達成比傳統記憶體高5至10倍的頻寬。

HBM市場由SK海力士(約50%市佔率)與三星(約40%)主導,美光則遠遠落後於第三名。HBM的平均售價(ASP)比標準DRAM高出5至10倍,使其成為歷史上利潤率最高的記憶體產品。每顆NVIDIA Blackwell GPU都需要多個HBM堆疊,使GPU出貨量與HBM出貨量之間形成直接的需求連動。從HBM3E過渡至HBM4,代表著又一輪產能限制與定價權循環的開始。

相關概念

HBM與CoWoS封裝技術相關(HBM堆疊透過CoWoS與GPU接合)、記憶體牆(Memory Wall)論點,以及以美光作為領先指標的哨兵指標(Sentinel Ticker)框架。