Entrée 101
Tokens per Watt
Tokens per watt est le ratio entre la production d'inférence et l'énergie consommée — la ligne de revenu de l'IA divisée par son intrant le plus rare. Les tokens sont ce que les hyperscalers vendent ; les watts sont ce qu'ils ne peuvent pas rapidement acheter davantage. À mesure que la construction de l'IA passe de la phase de bâti à celle de monétisation, ce ratio unique s'impose comme la métrique qui décide quels opérateurs obtiennent un retour sur l'infrastructure qu'ils ont payée — et quelles couches de la chaîne matérielle se voient repricées pour l'acheminer.
Traduit automatiquement de l’original anglais. Lire l’original en anglais →
Ce que c'est
L'inférence a un compte de résultat : chaque token généré est un revenu, chaque watt consommé est un coût. Tokens per watt divise l'un par l'autre. Un hyperscaler qui augmente ce ratio fait croître son revenu sans hausse proportionnelle du coût d'infrastructure — c'est pourquoi la métrique fait aussi office de jauge de marge. Le levier sous-jacent est le taux d'utilisation : des accélérateurs inactifs en attendant la mémoire — le KV cache, la mémoire de travail de l'inférence, qui déborde de la HBM lors des charges de raisonnement et agentiques — brûlent des watts sans produire de tokens. Les alimenter plus vite, et la même enveloppe de puissance génère davantage de revenu.
Pourquoi c'est important
L'énergie a cessé d'être un intrant abondant. I/O Fund, qui a mis cette métrique au premier plan en juillet 2026, cite une file d'attente d'interconnexion ERCOT supérieure à 438 GW — dont environ 390 GW de centres de données — contre environ 23 GW réellement ajoutés sur 2024–2025. Chaque génération de puce tire davantage sur le réseau : environ 700W pour un H100, 1 200–1 400W pour Blackwell, environ 2 300W pour Rubin. Le levier d'efficacité bon marché est épuisé — des PUE d'hyperscalers de 1.09 à 1.17 laissent peu de marge à exploiter hors du calcul lui-même. Et le memory wall rend le problème d'utilisation structurel : le calcul a crû d'environ 3× tous les deux ans sur les deux décennies jusqu'à 2023, tandis que la bande passante mémoire n'a crû que de 1.6×, et l'écart persiste jusqu'à Rubin — 5× le calcul d'inférence de Blackwell contre 2.8× la bande passante HBM et 1.5× la capacité. Comme la HBM est livrée packagée avec l'accélérateur, acheter plus de mémoire signifie acheter plus de calcul sous-utilisé, la part de la HBM dans la nomenclature (bill of materials) de l'accélérateur passant d'environ 52% (B200) vers 62% (Rubin) — la dynamique derrière le memory supercycle.
Les deux architectures
La réponse d'ingénierie est le moteur de déchargement (offload engine) : du matériel dédié qui maintient les accélérateurs alimentés en KV cache depuis des niveaux de mémoire moins coûteux. Deux voies se dessinent. Le CMX propriétaire de Nvidia associe des DPU BlueField-4 et des niveaux de SSD à l'échelle du rack à sa plateforme Rubin — les propres chiffres de Nvidia revendiquent jusqu'à 5× le débit de tokens et 5× l'efficacité énergétique sur les tâches de KV-cache, et jusqu'à 35× tokens par mégawatt pour un rack Vera Rubin associé à un rack Groq 3 LPX par rapport à un GB200 NVL72. La voie ouverte passe par le CXL, une norme agnostique aux fournisseurs construite sur PCIe : les contrôleurs Structera de Marvell fonctionnent près de 30 watts contre 150–700 watts pour ajouter des CPU ou des GPU, et les données de Marvell montrent un gain de débit de 4.8× sur un niveau mis en commun de 16TB. Deux tiers des serveurs étaient déjà compatibles CXL début 2025 ; plus de 90% sont projetés fin 2026. Signe révélateur, le propre CPU Vera de Nvidia prend en charge le CXL 3.1 — même le camp propriétaire laisse la porte ouverte.
Comment le lire
Trois signaux à surveiller. D'abord, le langage des conférences de résultats des hyperscalers : quand les dirigeants commencent à citer l'inference economics — le revenu par token rapporté à l'énergie — la métrique est devenue le tableau de bord. Ensuite, les spécifications au niveau des racks : tokens par mégawatt est désormais un chiffre phare dans les keynotes de Nvidia, ce qui signifie que chaque génération de plateforme sera jugée sur cette base. Enfin, l'origine des gains du ratio — le silicium (nouveaux accélérateurs), l'architecture (moteurs de déchargement), ou l'implantation géographique (la power constraint relocalisant la capacité vers de l'énergie bloquée). Chaque réponse repricera une couche différente de la chaîne.