内存带宽 Memory Bandwidth

内存带宽是数据在内存与处理器之间传输的速率,是在算力充裕之后限制AI加速器性能的具体瓶颈。现代加速器往往受限于内存带宽,而非算力本身,这正是高带宽内存(HBM)价格居高、供应紧张的原因。缩小算力速度与内存速度之间的差距,正是内存墙问题的核心所在。参见内存墙 101。