Tokens per Watt

Qué es

La inferencia tiene una cuenta de resultados: cada token generado es ingreso, cada watt consumido es costo. Tokens per watt divide uno por el otro. Un hyperscaler que eleva la razón crece en ingresos sin un aumento proporcional en el costo de infraestructura — por eso la métrica funciona también como indicador de margen. La palanca subyacente es la utilización: los acceleradores parados mientras esperan memoria — la KV cache, la memoria de trabajo de la inferencia, desbordándose de la HBM en cargas de razonamiento y agénticas — consumen watts sin producir tokens. Si se los alimenta más rápido, el mismo presupuesto de energía genera más ingresos.

Por qué importa

La energía dejó de ser un insumo abundante. I/O Fund, que llevó la métrica a primer plano en julio de 2026, cita una cola de interconexión de ERCOT por encima de 438 GW — de la cual unos 390 GW son centros de datos — frente a unos 23 GW efectivamente añadidos entre 2024 y 2025. Cada generación de chips extrae más de la red: aproximadamente 700W para un H100, 1.200–1.400W para Blackwell, alrededor de 2.300W para Rubin. La palanca de eficiencia barata está agotada — los PUE de los hyperscalers, entre 1.09 y 1.17, dejan poco margen para cosechar fuera del propio cómputo. Y el memory wall convierte el problema de utilización en algo estructural: el cómputo creció aproximadamente 3× cada dos años durante las dos décadas hasta 2023, mientras el ancho de banda de memoria creció 1.6×, y la brecha persiste en Rubin — 5× el cómputo de inferencia de Blackwell frente a 2.8× el ancho de banda de HBM y 1.5× la capacidad. Como la HBM se envía empaquetada con el acelerador, comprar más memoria implica comprar más cómputo subutilizado, con la participación de la HBM en la lista de materiales del acelerador subiendo de aproximadamente 52% (B200) hacia 62% (Rubin) — la dinámica detrás del memory supercycle.

Las dos arquitecturas

La respuesta de ingeniería es el motor de descarga (offload engine): hardware dedicado que mantiene a los acceleradores alimentados con KV cache desde niveles de memoria más económicos. Se están formando dos caminos. El CMX propietario de Nvidia combina DPUs BlueField-4 y niveles de SSD a escala de rack con su plataforma Rubin — las cifras propias de Nvidia afirman hasta 5× de rendimiento de tokens y 5× de eficiencia energética en trabajo de KV-cache, y hasta 35× tokens por megavatio para un rack Vera Rubin emparejado con un rack Groq 3 LPX frente a un GB200 NVL72. El camino abierto pasa por CXL, un estándar agnóstico de proveedor construido sobre PCIe: los controladores Structera de Marvell operan cerca de 30 watts frente a 150–700 watts por añadir CPUs o GPUs, y los datos de Marvell muestran una ganancia de rendimiento de 4.8× en un nivel agrupado de 16TB. Dos tercios de los servidores ya eran compatibles con CXL a comienzos de 2025; se proyecta que más del 90% lo sea para fines de 2026. De manera reveladora, la propia CPU Vera de Nvidia soporta CXL 3.1 — incluso el bando propietario mantiene la puerta abierta al estándar abierto.

Cómo interpretarla

Tres señales. Primero, observar el lenguaje de las llamadas de resultados de los hyperscalers: cuando la dirección empieza a citar la economía de la inferencia — ingresos por token frente a energía — la métrica se ha convertido en el marcador. Segundo, observar las especificaciones a nivel de rack: tokens por megavatio es ahora una cifra destacada en las presentaciones de Nvidia, lo que significa que cada generación de plataforma será juzgada por ella. Tercero, observar de dónde provienen las ganancias de la razón — del silicio (nuevos acceleradores), de la arquitectura (motores de descarga), o de la ubicación (el power constraint reubicando capacidad hacia energía varada). Cada respuesta repricea una capa distinta de la cadena.