Glossarbegriff
Cluster (GPU/AI)
Eine vernetzte Gruppe von GPUs, die parallel für Training oder Inferenz arbeiten; bei zunehmender Skalierung wird die Bandbreite zum begrenzenden Faktor.
Automatisch aus dem englischen Original übersetzt. Zum englischen Original →
Ein Cluster ist eine vernetzte Gruppe von GPUs, die parallel an einer einzigen Trainings- oder Inferenz-Workload arbeiten, von wenigen Hundert bis zu über 100.000 Beschleunigern. Bei entsprechender Skalierung wird die Interconnect-Bandbreite zwischen den GPUs zum begrenzenden Faktor, nicht die Rechenleistung pro GPU. Deshalb treiben Cluster für Frontier-Modelle überproportionale Ausgaben für InfiniBand, optische Transceiver und Netzwerk-Fabric an. Siehe Networking & Optical 101.