용어집 항목
레이턴시(하드웨어) Latency (Hardware)
구성 요소 간 데이터 이동에 걸리는 시간 지연으로, 레이턴시가 낮을수록 대규모 클러스터의 활용률이 높아진다.
영어 원문을 자동 번역한 것입니다. 영어 원문 읽기 →
하드웨어에서 레이턴시란 메모리에서 프로세서로, GPU에서 GPU로, 노드에서 노드로 데이터가 이동하는 데 걸리는 시간 지연을 의미한다. 클러스터 규모에서는 레이턴시가 수천 개의 GPU가 얼마나 효율적으로 동기화된 상태를 유지할 수 있는지를 결정하므로, 낮은 레이턴시는 곧 더 높은 활용률과 더 빠른 학습으로 직결된다. 이는 AI 네트워킹에서 대역폭과 짝을 이루는 제약 요소다. 네트워킹 & 옵티컬 101을 참고하라.