用語集の項目
スループット Throughput
単位時間あたりに処理されるデータや作業量。帯域幅がAIワークロードにおいて最終的に実現するもの。
英語原文からの自動翻訳です。 英語の原文を読む →
スループットとは、単位時間あたりに処理されるデータや作業量のことであり、推論では毎秒あたりのトークン数、学習では毎秒あたりのサンプル数で表される。これは帯域幅、コンピュート、レイテンシが総合的に決定する、実践的なパフォーマンス指標である。1ドルあたりのスループットを最大化することは、AI提供の限界コストを規定するため、推論エコノミクスにおける中心的な最適化目標となる。Inference Economics 101を参照。