吞吐量 Throughput

吞吐量是单位时间内处理的数据量或工作量——推理场景下为每秒处理的token数,训练场景下为每秒处理的样本数。它是由带宽、算力和延迟共同决定的实际性能指标。每美元吞吐量最大化是推理经济学的核心优化目标,因为它决定了AI服务的边际成本。参见推理经济学101。