Terme du glossaire
Throughput
La quantité de données ou de travail traitée par unité de temps ; ce que la bande passante permet finalement pour les charges de travail d'IA.
Traduit automatiquement de l’original anglais. Lire l’original en anglais →
Le throughput est la quantité de données ou de travail traitée par unité de temps — tokens par seconde pour l'inférence, échantillons par seconde pour l'entraînement. C'est la métrique de performance pratique que la bande passante, le calcul et la latence déterminent conjointement. Maximiser le throughput par dollar est l'objectif d'optimisation central de l'économie de l'inférence, car il fixe le coût marginal de la fourniture de services d'IA. Voir Inference Economics 101.