スループットとは、単位時間あたりに処理されるデータや作業量のことであり、推論では毎秒あたりのトークン数、学習では毎秒あたりのサンプル数で表される。これは帯域幅、コンピュート、レイテンシが総合的に決定する、実践的なパフォーマンス指標である。1ドルあたりのスループットを最大化することは、AI提供の限界コストを規定するため、推論エコノミクスにおける中心的な最適化目標となる。Inference Economics 101を参照。
スループットとは、単位時間あたりに処理されるデータや作業量のことであり、推論では毎秒あたりのトークン数、学習では毎秒あたりのサンプル数で表される。これは帯域幅、コンピュート、レイテンシが総合的に決定する、実践的なパフォーマンス指標である。1ドルあたりのスループットを最大化することは、AI提供の限界コストを規定するため、推論エコノミクスにおける中心的な最適化目標となる。Inference Economics 101を参照。