용어집 항목
처리량 Throughput
단위 시간당 처리되는 데이터 또는 작업의 양으로, AI 워크로드에서 대역폭이 궁극적으로 구현하는 성능을 의미한다.
영어 원문을 자동 번역한 것입니다. 영어 원문 읽기 →
처리량(Throughput)은 단위 시간당 처리되는 데이터 또는 작업의 양이다 — 추론에서는 초당 토큰 수, 학습에서는 초당 샘플 수로 측정된다. 이는 대역폭, 컴퓨트, 지연시간이 함께 결정하는 실질적인 성능 지표다. 달러당 처리량을 최대화하는 것은 추론 경제학의 핵심 최적화 목표인데, 이것이 AI 서비스 제공의 마진 비용을 결정하기 때문이다. 추론 경제학 101 참고.