Termo do glossário
Throughput
A quantidade de dados ou trabalho processada por unidade de tempo; o que a largura de banda, em última análise, viabiliza para cargas de trabalho de IA.
Traduzido automaticamente do original em inglês. Ler o original em inglês →
Throughput é a quantidade de dados ou trabalho processada por unidade de tempo — tokens por segundo em inferência, amostras por segundo em treinamento. É a métrica prática de desempenho determinada em conjunto por largura de banda, poder computacional e latência. Maximizar o throughput por dólar é o principal objetivo de otimização da economia de inferência, pois define o custo marginal de servir IA. Veja Inference Economics 101.