用語集の項目
レイテンシ(ハードウェア) Latency (Hardware)
コンポーネント間でデータを移動させる際の時間遅延。レイテンシが低いほど、大規模クラスタでの利用効率が高まる。
英語原文からの自動翻訳です。 英語の原文を読む →
ハードウェアにおけるレイテンシとは、メモリからプロセッサ、GPUからGPU、ノードからノードへとデータを移動させる際に生じる時間遅延である。クラスタ規模においては、レイテンシが数千台のGPUをどれだけ効率的に同期できるかを左右するため、レイテンシが低いほど利用効率が直接的に高まり、学習も高速化する。これはAIネットワーキングにおいて帯域幅と対をなす制約である。詳細はNetworking & Optical 101を参照。