メモリ帯域幅 Memory Bandwidth

メモリ帯域幅とは、メモリとプロセッサの間でデータが移動する速度であり、コンピュートが十分にある状況下でAIアクセラレータの性能を制限する特定の制約要因である。現代のアクセラレータはコンピュート制約というよりメモリ帯域幅制約に陥ることが多く、これが高帯域幅メモリ(HBM)が高値で取引され、供給が逼迫している理由である。コンピュート速度とメモリ速度の差を縮めることこそが、メモリウォールの本質である。Memory Wall 101を参照。