Término del glosario
Throughput
La cantidad de datos o trabajo procesado por unidad de tiempo; lo que el ancho de banda finalmente permite en las cargas de trabajo de IA.
Traducido automáticamente del original en inglés. Leer el original en inglés →
Throughput es la cantidad de datos o trabajo procesado por unidad de tiempo — tokens por segundo en inferencia, muestras por segundo en entrenamiento. Es la métrica de rendimiento práctica que determinan conjuntamente el ancho de banda, el cómputo y la latencia. Maximizar el throughput por dólar es el objetivo central de optimización de la economía de la inferencia, ya que fija el costo marginal de prestar servicios de IA. Véase Inference Economics 101.