Entrada 101
Tokens per Watt
Tokens por watt é a razão entre a produção de inferência e o consumo de energia — a linha de receita da IA dividida pelo insumo mais escasso. Tokens são o que as hyperscalers vendem; watts são o que elas não conseguem comprar em maior quantidade com rapidez. Conforme a expansão da IA passa da construção para a monetização, essa única razão está se firmando como a métrica que decide quais operadores obtêm retorno sobre a infraestrutura que pagaram — e quais camadas da cadeia de hardware são reprecificadas em função disso.
Traduzido automaticamente do original em inglês. Ler o original em inglês →
O que é
A inferência tem uma demonstração de resultados: cada token gerado é receita, cada watt consumido é custo. Tokens per watt divide um pelo outro. Uma hyperscaler que eleva essa razão aumenta a receita sem um crescimento proporcional no custo de infraestrutura — por isso a métrica também funciona como indicador de margem. A palanca por trás disso é a utilização: aceleradores ociosos enquanto esperam por memória — o KV cache, a memória de trabalho da inferência, que extravasa da HBM em cargas de raciocínio e agentic workloads — consomem watts sem produzir tokens. Alimentá-los mais rápido faz com que o mesmo envelope de energia gere mais receita.
Por que importa
A energia deixou de ser um insumo abundante. O I/O Fund, que trouxe essa métrica ao primeiro plano em julho de 2026, cita uma fila de interconexão da ERCOT acima de 438 GW — cerca de 390 GW dela em data centers — contra aproximadamente 23 GW efetivamente adicionados entre 2024 e 2025. Cada geração de chip consome mais da rede: cerca de 700W para um H100, 1.200–1.400W para Blackwell, em torno de 2.300W para Rubin. A palanca barata de eficiência já se esgotou — PUEs de hyperscalers entre 1.09 e 1.17 deixam pouco espaço para ganhos fora do próprio compute. E o memory wall torna o problema de utilização estrutural: o compute cresceu cerca de 3× a cada dois anos ao longo das duas décadas até 2023, enquanto a largura de banda de memória cresceu 1.6×, e essa lacuna persiste em Rubin — 5× o compute de inferência do Blackwell contra 2.8× a largura de banda de HBM e 1.5× a capacidade. Como a HBM é entregue já integrada ao acelerador, comprar mais memória significa comprar mais compute subutilizado, com a participação da HBM na lista de materiais do acelerador subindo de aproximadamente 52% (B200) para 62% (Rubin) — a dinâmica por trás do memory supercycle.
As duas arquiteturas
A resposta de engenharia é o offload engine: hardware dedicado que mantém os aceleradores abastecidos com KV cache proveniente de camadas de memória mais baratas. Dois caminhos estão se formando. O CMX proprietário da Nvidia combina DPUs BlueField-4 e camadas de SSD em escala de rack com sua plataforma Rubin — os próprios números da Nvidia afirmam ganhos de até 5× no throughput de tokens e 5× na eficiência energética em cargas de KV-cache, e até 35× em tokens por megawatt para um rack Vera Rubin combinado com um rack Groq 3 LPX, comparado a um GB200 NVL72. O caminho aberto passa pelo CXL, um padrão agnóstico de fornecedor construído sobre o PCIe: os controladores Structera da Marvell operam próximos a 30 watts contra 150–700 watts para adicionar CPUs ou GPUs, e os dados da Marvell mostram um ganho de throughput de 4.8× em uma camada agrupada de 16TB. Dois terços dos servidores já eram compatíveis com CXL no início de 2025; projeta-se que mais de 90% estarão até o fim de 2026. Significativamente, a própria CPU Vera da Nvidia é compatível com CXL 3.1 — até o campo proprietário mantém a porta aberta ao padrão aberto.
Como interpretar
Três sinais a observar. Primeiro, a linguagem das teleconferências de resultados das hyperscalers: quando a administração começa a citar a receita de tokens em relação à energia, a métrica se tornou o placar. Segundo, as especificações no nível de rack: tokens por megawatt já é um número de destaque nas keynotes da Nvidia, o que significa que cada geração de plataforma será julgada por esse critério. Terceiro, de onde vêm os ganhos da razão — do silício (novos aceleradores), da arquitetura (offload engines) ou da localização (a power constraint realocando capacidade para energia excedente). Cada resposta reprecifica uma camada diferente da cadeia.