带宽（内存/网络） Bandwidth (Memory / Networking)

带宽是组件之间数据传输的速率，内存带宽以GB/s计量，网络带宽以Gb/s或Tb/s计量。在AI系统中，带宽——而非原始算力——正日益成为限制性约束，因为向高速加速器输送数据比计算本身更为困难。这正是内存墙（memory wall）与AI网络论点（AI networking thesis）的技术核心所在。参见内存墙101与网络与光通信101。