101條目
推論經濟學：訓練轉向推論如何改變一切
AI 產業正從以訓練為主的階段（最大支出用於訓練新模型）轉向以推論為主的階段（最大支出用於大規模為使用者運行模型）。這一轉變根本性地改變了半導體需求結構：訓練偏好具備最大運算力與記憶體頻寬的巨型 GPU，而推論則偏好效率、每瓦吞吐量與每次查詢成本。贏得訓練階段的公司（NVIDIA）未必是主導推論的公司。客製化 ASIC（Google TPU、AWS Trainium）、推論優化架構（Groq、Cerebras）以及邊緣推論晶片（Qualcomm、MediaTek）都因此變得更具相關性。
由英文原文自動翻譯。 閱讀英文原文 →
訓練與推論：不同的經濟結構
訓練是一項固定成本：你使用龐大的 GPU 叢集訓練一個模型一次（或定期重新訓練）。其經濟結構偏好純粹的運算能力——擁有最多 FLOPs 的一方勝出。這是 NVIDIA 的領域：A100、H100、B200 皆針對訓練吞吐量優化。
推論是一項變動成本：每一次使用者查詢、每一次 API 呼叫、每一次代理動作都需要推論運算。隨著 AI 採用規模擴大，推論量呈指數成長，而訓練量則相對持平。經濟結構從「最大運算力」轉向「每次查詢的最低成本」與「每瓦最大吞吐量」。
這一區別對投資者而言意義重大。在以訓練為主的世界中，你買進 NVIDIA 及其供應鏈。在以推論為主的世界中，競爭格局將趨於分散，價值鏈也將轉移。
誰能從推論轉向中獲益
客製化 ASIC市佔率上升，因為超大規模業者（Google、Amazon、Microsoft）能設計出針對其特定推論工作負載優化的晶片，其每次查詢成本低於通用型 GPU。Google 的 TPU v5、AWS Trainium2 以及 Meta 的 MTIA 皆專注於推論。
NVIDIA 調整應對的方式是推出推論優化的配置（L40S、H100 NVL），並強化軟體護城河（TensorRT-LLM、Triton）。NVIDIA 不會完全失去推論市場——但其市佔率將低於訓練市場。
隨著模型縮小到足以在裝置端運行，邊緣推論的重要性日益提升。Qualcomm、MediaTek 以及 Apple 的客製化晶片，皆因能在本地而非雲端執行 AI 而受益。
這對 Functional Index 意味著什麼
Closelook 透過 Functional Index 的運算層（Compute layer）追蹤訓練與推論的比例。隨著推論主導地位上升，客製化 ASIC 及專注推論的公司在指數中的權重相對於純 GPU 標的將提高。該指數會因應此結構性轉變而調整。