101條目
Tokens per Watt(每瓦token數)
每瓦token數是推理輸出與耗電量的比率——AI的營收線除以其最稀缺的投入。Token是超大規模業者出售的東西；瓦特則是他們無法迅速買到更多的東西。隨著AI建設從建置階段轉向變現階段，這個單一比率正成為決定哪些營運商能就其付費建置的基礎設施獲得回報——以及硬體堆疊中哪些層級將因輸送電力而被重新定價——的關鍵指標。
由英文原文自動翻譯。 閱讀英文原文 →
這是什麼
推理有其損益表：每產生一個token即是營收，每消耗一瓦電力即是成本。每瓦token數就是將兩者相除。能提高此比率的超大規模業者，能在基礎設施成本不成比例上升的情況下增加營收——這也是此指標同時作為利潤率量尺的原因。其背後的槓桿是使用率：加速器在等待記憶體時閒置——KV快取，即推理的工作記憶體，在推理與代理式工作負載中從HBM溢出——消耗電力卻無法產生token。若能更快地餵入資料，同樣的用電額度就能產生更多營收。
為何重要
電力已不再是充裕的投入要素。I/O Fund於2026年7月將此指標推到台面上，其引用ERCOT的併網排隊容量已超過438 GW——其中約390 GW為資料中心——相對於2024至2025年實際新增約23 GW。每一代晶片對電網的需求都更高：H100約700W，Blackwell約1,200至1,400W，Rubin約2,300W。廉價的效率槓桿已被用盡——超大規模業者的PUE已在1.09至1.17之間，除運算本身外幾無可挖掘的空間。而記憶體牆使使用率問題成為結構性問題：截至2023年的二十年間，運算能力每兩年約成長3倍，而記憶體頻寬僅成長1.6倍，此差距延續到Rubin世代——推理運算能力達Blackwell的5倍，而HBM頻寬僅為2.8倍、容量僅為1.5倍。由於HBM是隨加速器一併封裝出貨，購買更多記憶體意味著也要購買更多未被充分利用的運算能力，HBM占加速器物料清單的比重從B200的約52%上升至Rubin的約62%——這正是記憶體超級週期背後的動力。
兩種架構
工程上的解方是卸載引擎：專用硬體讓加速器持續從較便宜的記憶體層級獲得KV快取供應。目前正形成兩條路線。Nvidia的專有CMX將BlueField-4 DPU與機架級SSD層級搭配其Rubin平台——Nvidia自家數據宣稱在KV快取工作上可達5倍的token吞吐量與5倍的能效，且Vera Rubin機架搭配Groq 3 LPX機架相對於GB200 NVL72，每兆瓦token數可提升達35倍。開放路線則走CXL，這是基於PCIe建構的廠商中立標準：Marvell的Structera控制器功耗約30瓦，相對於新增CPU或GPU的150至700瓦，Marvell的數據顯示在16TB池化層級上有4.8倍的吞吐量提升。截至2025年初，已有三分之二的伺服器具備CXL能力；預計到2026年底這一比例將超過90%。值得注意的是，Nvidia自家的Vera CPU也支援CXL 3.1——即便是專有陣營也留了一道開放的門。
如何解讀
三個觀察指標。首先，注意超大規模業者財報電話會議的用語：當管理層開始引用推理經濟學——即token營收對比電力——這個指標便已成為評分標準。其次，注意機架層級的規格：每兆瓦token數如今已是Nvidia主題演講的頭條數字，這意味著每一代平台都將以此被評判。第三，注意這個比率的提升來自何處——晶片（新型加速器）、架構（卸載引擎），還是選址（電力限制將產能遷往閒置電力所在地）。每種答案都將對堆疊中不同層級進行重新定價。