101エントリー
トークン・パー・ワット
トークン・パー・ワットとは、推論出力と消費電力の比率——AIの収益ラインを、その最も希少な入力で割った値である。トークンはハイパースケーラーが売るものであり、ワットは急には増やせないものだ。AIビルドアウトが建設からマネタイゼーションへ移行する中、この単一の比率こそが、支払った基盤インフラから実際に収益を得られる事業者と、それを動かすハードウェアスタックのどの層が再評価されるかを決める指標として浮上している。
英語原文からの自動翻訳です。 英語の原文を読む →
それは何か
推論には損益計算書がある：生成されたトークン1つが収益であり、消費されたワット1つがコストである。トークン・パー・ワットは一方を他方で割ったものだ。この比率を高めるハイパースケーラーは、インフラコストに比例しない形で収益を伸ばせる——だからこの指標はマージンの尺度も兼ねる。その根底にあるレバーは利用率だ：メモリを待ってアクセラレータが遊んでいる間——推論の作業メモリであるKVキャッシュが、推論・エージェント型ワークロードでHBMから溢れ出る間——は、トークンを生み出さずにワットを消費する。それをより速く供給できれば、同じ電力エンベロープでより多くの収益が得られる。
なぜ重要か
電力はもはや豊富な入力ではなくなった。2026年7月にこの指標を前面に押し出したI/O Fundは、ERCOTの連系待ち行列が438 GWを超え——そのうち約390 GWがデータセンター向け——であるのに対し、2024〜2025年に実際に追加されたのはわずか約23 GWにすぎないと指摘する。世代が進むごとにチップの消費電力は増大する：H100で約700W、Blackwellで1,200〜1,400W、Rubinでは約2,300W。安価な効率化のレバーはすでに使い尽くされている——ハイパースケーラーのPUEは1.09〜1.17であり、計算そのもの以外に収穫できる余地はほとんど残っていない。そしてメモリウォールが利用率の問題を構造的なものにしている：2023年までの20年間で、計算能力は2年ごとに約3倍成長したのに対し、メモリ帯域幅は1.6倍にしか増えなかった。この差はRubinでも続いている——Blackwellに対して推論性能は5倍だが、HBM帯域幅は2.8倍、容量は1.5倍にすぎない。HBMはアクセラレータにパッケージされて出荷されるため、メモリを増やすことは同時に低利用率の計算能力を買うことを意味する——HBMがアクセラレータの部品原価に占める比率はB200の約52%からRubinでは約62%へ上昇している——これがメモリ・スーパーサイクルを動かす力学である。
2つのアーキテクチャ
エンジニアリング上の解答はオフロードエンジンだ：より安価なメモリ階層からKVキャッシュをアクセラレータに供給し続ける専用ハードウェアである。2つの路線が形成されつつある。Nvidiaの独自規格CMXは、BlueField-4 DPUとラックスケールのSSD階層をRubinプラットフォームと組み合わせる——Nvidia自身のデータによれば、KVキャッシュ処理においてトークンスループットで最大5倍、電力効率で最大5倍、Vera RubinラックとGroq 3 LPXラックの組み合わせではGB200 NVL72比でメガワット当たりトークン数が最大35倍になるとされる。オープンな路線はPCIeを基盤とするベンダー非依存規格CXLを通る：MarvellのStructeraコントローラは約30ワットで動作し、CPUやGPUを追加する場合の150〜700ワットと対照的であり、Marvellのデータでは16TBのプールド階層で4.8倍のスループット向上が示されている。2025年初めには既にサーバーの3分の2がCXL対応であり、2026年末までに90%超に達すると見込まれている。示唆的なことに、Nvidia自身のVera CPUもCXL 3.1をサポートしており——独自規格の陣営でさえオープンな扉を開けたままにしている。
どう読むか
3つの兆候がある。第一に、ハイパースケーラーの決算説明会の言葉遣いに注目すること：経営陣がトークン収益と電力を並べて語り始めたら、この指標がスコアボードになったということだ。第二に、ラック単位の仕様に注目すること：メガワット当たりトークン数は今やNvidiaの基調講演の主要な数字であり、各プラットフォーム世代がそれで評価されることを意味する。第三に、比率の改善がどこから来ているかに注目すること——シリコン（新型アクセラレータ）か、アーキテクチャ（オフロードエンジン）か、それとも配置（電力制約により座礁電力へ生産能力を移転すること）か。それぞれの答えはスタックの異なる層を再評価することになる。