延迟(硬件) Latency (Hardware)

硬件延迟是指数据在组件之间传输所需的时间延迟——从内存到处理器、GPU到GPU、节点到节点。在集群规模下,延迟决定了数千个GPU能够保持同步的效率,因此延迟越低,直接转化为利用率越高、训练速度越快。它是AI网络中与带宽相伴的另一项约束条件。参见网络与光学 101。