硬體延遲是指資料在元件之間傳輸所產生的時間延遲——記憶體到處理器、GPU 到 GPU、節點到節點。在叢集規模下,延遲決定了數千個 GPU 能維持同步的效率,因此較低的延遲能直接轉化為較高的使用率與較快的訓練速度。它是 AI 網路中與頻寬並列的重要限制條件。參見《網路與光通訊 101》。
硬體延遲是指資料在元件之間傳輸所產生的時間延遲——記憶體到處理器、GPU 到 GPU、節點到節點。在叢集規模下,延遲決定了數千個 GPU 能維持同步的效率,因此較低的延遲能直接轉化為較高的使用率與較快的訓練速度。它是 AI 網路中與頻寬並列的重要限制條件。參見《網路與光通訊 101》。