術語表條目
Throughput（吞吐量） Throughput
單位時間內處理的資料量或工作量；頻寬最終為AI工作負載所帶來的實際效益。
由英文原文自動翻譯。 閱讀英文原文 →
Throughput（吞吐量）是單位時間內處理的資料量或工作量——對推論而言是每秒處理的tokens數，對訓練而言是每秒處理的樣本數。這是由頻寬、運算能力與延遲共同決定的實際效能指標。將每美元的吞吐量最大化，是推論經濟學（inference economics）的核心優化目標，因為它決定了AI服務的邊際成本。參見 Inference Economics 101。