101条目
推理经济学:训练到推理的转变将如何改变一切
人工智能行业正从以训练为主导的阶段(最大支出用于训练新模型)转向以推理为主导的阶段(最大支出用于大规模为用户运行模型)。这一转变从根本上改变了半导体需求结构:训练偏好具备最大算力和最大内存带宽的大型GPU,而推理则偏好效率、单位功耗吞吐量和单次查询成本。赢得训练阶段的公司(NVIDIA)未必是主导推理阶段的公司。定制ASIC(Google TPU、AWS Trainium)、推理优化架构(Groq、Cerebras)以及边缘推理芯片(Qualcomm、MediaTek)都将变得愈发重要。
由英文原文自动翻译。 阅读英文原文 →
训练与推理:不同的经济学
训练是一种固定成本:你使用大规模GPU集群训练一次模型(或定期重新训练)。其经济学偏好原始算力——谁拥有最多的FLOPs就能获胜。这是NVIDIA的领地:A100、H100、B200均针对训练吞吐量进行了优化。
推理是一种可变成本:每一次用户查询、每一次API调用、每一次智能体动作都需要推理算力。随着人工智能应用规模扩大,推理量呈指数级增长,而训练量则相对持平。经济学的重心从"最大算力"转向"单次查询最低成本"和"单位功耗最大吞吐量"。
这一区别对投资者而言意义重大。在以训练为主导的世界中,你买入NVIDIA及其供应链。而在以推理为主导的世界中,竞争格局将分散,价值链也将转移。
谁将从推理转变中受益
定制ASIC正在获得份额,因为超大规模云服务商(Google、Amazon、Microsoft)能够设计出针对其特定推理工作负载优化的芯片,单次查询成本低于通用GPU。Google的TPU v5、AWS Trainium2以及Meta的MTIA均以推理为核心。
NVIDIA正在适应,推出推理优化配置(L40S、H100 NVL),并强化软件护城河(TensorRT-LLM、Triton)。NVIDIA不会完全失去推理市场——但其市场份额将低于训练领域。
边缘推理随着模型缩小到足以在设备端运行而变得日益重要。Qualcomm、MediaTek以及Apple的定制芯片都将从本地运行AI(而非在云端运行)中获益。
这对Functional Index意味着什么
Closelook通过Functional Index的Compute layer追踪训练与推理的比例。随着推理占据主导,定制ASIC和以推理为核心的公司的权重相对于纯GPU标的将上升。该指数会随这一结构性转变而调整。