101 항목
추론 경제학: 트레이닝에서 추론으로의 전환이 모든 것을 바꾸는 이유
AI 산업은 트레이닝 중심 단계(최대 지출이 새 모델 트레이닝에 투입되는 시기)에서 추론 중심 단계(최대 지출이 대규모 사용자를 위한 모델 실행에 투입되는 시기)로 이동하고 있다. 이 전환은 반도체 수요 구조를 근본적으로 바꾼다. 트레이닝은 최대 컴퓨트와 메모리 대역폭을 갖춘 대형 GPU를 선호하지만, 추론은 효율성, 와트당 처리량, 쿼리당 비용을 선호한다. 트레이닝 단계에서 승리한 기업(NVIDIA)이 추론을 지배하는 기업과 같지 않을 수 있다. 커스텀 ASIC(Google TPU, AWS Trainium), 추론 최적화 아키텍처(Groq, Cerebras), 엣지 추론 칩(Qualcomm, MediaTek) 모두 중요성이 커지고 있다.
영어 원문을 자동 번역한 것입니다. 영어 원문 읽기 →
트레이닝 vs. 추론: 서로 다른 경제 구조
트레이닝은 고정 비용이다. 대규모 GPU 클러스터를 이용해 모델을 한 번(또는 주기적으로 재트레이닝) 학습시킨다. 이 경제 구조는 순수 컴퓨트 파워를 선호한다 — 가장 많은 FLOPs를 보유한 쪽이 승리한다. 이는 NVIDIA의 영역이다: A100, H100, B200 모두 트레이닝 처리량에 최적화되어 있다.
추론은 가변 비용이다. 모든 사용자 쿼리, 모든 API 호출, 모든 에이전트 액션에는 추론 컴퓨트가 필요하다. AI 채택이 확대되면서 추론 볼륨은 기하급수적으로 증가하는 반면 트레이닝은 상대적으로 정체된다. 경제 구조는 "최대 컴퓨트"에서 "쿼리당 최소 비용"과 "와트당 최대 처리량"으로 이동한다.
이 구분은 투자자에게 매우 중요하다. 트레이닝 중심 세계에서는 NVIDIA와 NVIDIA의 공급망을 매수한다. 추론 중심 세계에서는 경쟁 구도가 분산되고 가치사슬이 이동한다.
추론 전환의 수혜자
커스텀 ASIC은 하이퍼스케일러(Google, Amazon, Microsoft)가 범용 GPU보다 낮은 쿼리당 비용으로 자사의 특정 추론 워크로드에 최적화된 칩을 설계할 수 있기 때문에 점유율을 확대한다. Google의 TPU v5, AWS Trainium2, Meta의 MTIA 모두 추론에 초점을 맞추고 있다.
NVIDIA는 적응한다. 추론 최적화 구성(L40S, H100 NVL)을 출시하고 소프트웨어 모트(TensorRT-LLM, Triton)를 강화하는 방식이다. NVIDIA가 추론 시장을 완전히 잃지는 않겠지만, 시장 점유율은 트레이닝보다 낮아질 것이다.
엣지 추론은 모델이 온디바이스에서 실행될 만큼 축소되면서 중요성이 커진다. Qualcomm, MediaTek, Apple의 커스텀 실리콘은 클라우드가 아닌 로컬에서 AI를 실행함으로써 수혜를 본다.
이것이 Functional Index에 의미하는 것
Closelook은 Functional Index의 Compute layer를 통해 트레이닝 대 추론 비율을 추적한다. 추론이 지배적이 됨에 따라 커스텀 ASIC 및 추론 중심 기업의 비중이 순수 GPU 플레이 대비 증가한다. 인덱스는 이러한 구조적 전환을 반영해 조정된다.