Glossarbegriff
Durchsatz Throughput
Die Menge an Daten oder Arbeit, die pro Zeiteinheit verarbeitet wird; das, was Bandbreite für KI-Workloads letztlich ermöglicht.
Automatisch aus dem englischen Original übersetzt. Zum englischen Original →
Durchsatz ist die Menge an Daten oder Arbeit, die pro Zeiteinheit verarbeitet wird — Tokens pro Sekunde bei Inferenz, Samples pro Sekunde beim Training. Er ist die praktische Leistungskennzahl, die durch Bandbreite, Rechenleistung und Latenz gemeinsam bestimmt wird. Die Maximierung des Durchsatzes pro Dollar ist das zentrale Optimierungsziel der Inferenzökonomie, da sie die Grenzkosten der KI-Bereitstellung festlegt. Siehe Inference Economics 101.