메모리 대역폭 Memory Bandwidth

메모리 대역폭(Memory Bandwidth)은 메모리와 프로세서 사이에서 데이터가 이동하는 속도로, 연산 능력이 충분해진 이후 AI 가속기 성능을 제한하는 특정한 제약 요인이다. 최신 가속기는 연산 능력이 아니라 메모리 대역폭에 의해 성능이 제한되는 경우가 많으며, 이 때문에 고대역폭 메모리(HBM)는 프리미엄 가격으로 거래되고 공급이 타이트하다. 연산 속도와 메모리 속도 사이의 격차를 좁히는 것이 바로 메모리 월(memory wall)의 핵심이다. Memory Wall 101을 참조하라.