101-Eintrag
Tokens per Watt
Tokens per Watt ist das Verhältnis von Inferenz-Output zu verbrauchtem Strom — die Ertragszeile der KI geteilt durch ihren knappsten Input. Tokens sind das, was Hyperscaler verkaufen; Watt ist das, was sie nicht schnell in größerer Menge einkaufen können. Während sich der KI-Ausbau von der Bauphase zur Monetarisierung verschiebt, entwickelt sich genau diese Kennzahl zu dem Maßstab, der entscheidet, welche Betreiber eine Rendite auf ihre Infrastrukturinvestitionen erwirtschaften — und welche Schichten des Hardware-Stacks neu bepreist werden, um sie zu liefern.
Automatisch aus dem englischen Original übersetzt. Zum englischen Original →
Was es ist
Inferenz hat eine Gewinn- und Verlustrechnung: Jedes generierte Token ist Umsatz, jedes verbrauchte Watt ist Kosten. Tokens per Watt teilt das eine durch das andere. Ein Hyperscaler, der das Verhältnis erhöht, steigert den Umsatz ohne proportionalen Anstieg der Infrastrukturkosten — weshalb die Kennzahl gleichzeitig als Margenindikator dient. Der zugrunde liegende Hebel ist die Auslastung: Beschleuniger, die im Leerlauf auf Speicher warten — der KV-Cache, das Arbeitsgedächtnis der Inferenz, das bei Reasoning- und Agentic-Workloads aus dem HBM überläuft — verbrauchen Watt, ohne Tokens zu erzeugen. Füttert man sie schneller, liefert dasselbe Leistungsbudget mehr Umsatz.
Warum es wichtig ist
Strom ist kein reichlich verfügbarer Input mehr. I/O Fund, das die Kennzahl im Juli 2026 in den Vordergrund rückte, verweist auf eine ERCOT-Netzanschlusswarteschlange von über 438 GW — davon rund 390 GW Rechenzentren — gegenüber lediglich rund 23 GW, die 2024–2025 tatsächlich zugebaut wurden. Jede Chip-Generation zieht mehr aus der Steckdose: rund 700W bei einem H100, 1.200–1.400W bei Blackwell, rund 2.300W bei Rubin. Der billige Effizienzhebel ist ausgeschöpft — Hyperscaler-PUEs von 1.09 bis 1.17 lassen außerhalb des Compute selbst kaum noch etwas zu heben. Und die Memory Wall macht das Auslastungsproblem strukturell: Compute wuchs in den zwei Jahrzehnten bis 2023 alle zwei Jahre um etwa das 3-Fache, während die Speicherbandbreite nur um das 1.6-Fache zulegte, und die Lücke bleibt bis Rubin bestehen — 5-fache Inferenz-Compute-Leistung gegenüber Blackwell, aber nur 2.8-fache HBM-Bandbreite und 1.5-fache Kapazität. Weil HBM zusammen mit dem Beschleuniger verbaut wird, bedeutet mehr Speicher zu kaufen auch mehr unterausgelastete Compute zu kaufen — der HBM-Anteil an der Stückliste eines Beschleunigers steigt von rund 52% (B200) auf bis zu 62% (Rubin) — die Dynamik hinter dem Memory Supercycle.
Die zwei Architekturen
Die technische Antwort ist die Offload-Engine: dedizierte Hardware, die Beschleuniger mit KV-Cache aus günstigeren Speicher-Tiers versorgt. Zwei Wege bilden sich heraus. Nvidias proprietäres CMX kombiniert BlueField-4-DPUs und Rack-Scale-SSD-Tiers mit seiner Rubin-Plattform — Nvidias eigene Angaben nennen bis zu 5-fachen Token-Durchsatz und 5-fache Energieeffizienz bei KV-Cache-Workloads sowie bis zu 35-fache Tokens pro Megawatt für ein Vera-Rubin-Rack in Kombination mit einem Groq-3-LPX-Rack gegenüber einem GB200 NVL72. Der offene Weg führt über CXL, einen herstellerunabhängigen Standard auf PCIe-Basis: Marvells Structera-Controller laufen mit rund 30 Watt gegenüber 150–700 Watt für zusätzliche CPUs oder GPUs, und Marvells Daten zeigen einen 4.8-fachen Durchsatzgewinn bei einem gepoolten 16TB-Tier. Zwei Drittel der Server waren Anfang 2025 bereits CXL-fähig; bis Ende 2026 werden über 90% erwartet. Bezeichnend: Nvidias eigene Vera-CPU unterstützt CXL 3.1 — selbst das proprietäre Lager lässt die offene Tür angelehnt.
Wie man es liest
Drei Signale. Erstens die Sprache der Hyperscaler-Earnings-Calls: Wenn das Management beginnt, Inference Economics zu zitieren — Token-Umsatz gegenüber Strom —, ist die Kennzahl zur Anzeigetafel geworden. Zweitens die Rack-Spezifikationen: Tokens pro Megawatt ist inzwischen eine Headline-Zahl in Nvidia-Keynotes, was bedeutet, dass jede Plattformgeneration daran gemessen wird. Drittens, woher die Verbesserungen des Verhältnisses stammen — Silizium (neue Beschleuniger), Architektur (Offload-Engines) oder Standortwahl (der Power Constraint, der Kapazität zu gestrandeter Energie verlagert). Jede Antwort bepreist eine andere Schicht des Stacks neu.