Glossarbegriff
Latenz (Hardware) Latency (Hardware)
Die Zeitverzögerung bei der Datenübertragung zwischen Komponenten; niedrigere Latenz bedeutet höhere Cluster-Auslastung im großen Maßstab.
Automatisch aus dem englischen Original übersetzt. Zum englischen Original →
Latenz in der Hardware ist die Zeitverzögerung bei der Datenübertragung zwischen Komponenten — vom Speicher zum Prozessor, von GPU zu GPU, von Knoten zu Knoten. Im Cluster-Maßstab bestimmt die Latenz, wie effizient Tausende von GPUs synchron gehalten werden können, sodass niedrigere Latenz sich direkt in höherer Auslastung und schnellerem Training niederschlägt. Sie ist die begleitende Einschränkung zur Bandbreite im KI-Networking. Siehe Networking & Optical 101.