記憶體頻寬 Memory Bandwidth

記憶體頻寬是資料在記憶體與處理器之間傳輸的速率,是在運算能力充裕之後,限制AI加速器效能的特定瓶頸。現代加速器往往受限於記憶體頻寬而非運算能力,這也是高頻寬記憶體(HBM)價格居高不下、供應緊張的原因。縮小運算速度與記憶體速度之間的差距,正是記憶體牆問題的核心。參見Memory Wall 101。