토큰당 와트(Tokens per Watt)

정의

추론에는 손익계산서가 있다: 생성되는 토큰 하나하나가 매출이고, 소비되는 와트 하나하나가 비용이다. 토큰당 와트는 이 둘을 나눈 값이다. 이 비율을 높이는 하이퍼스케일러는 인프라 비용을 비례적으로 늘리지 않고도 매출을 늘릴 수 있는데, 이것이 이 지표가 마진 지표로도 쓰이는 이유다. 그 밑바탕에 있는 지렛대는 활용률이다: 가속기가 메모리를 기다리며 유휴 상태로 있을 때 — 즉 추론의 작업 메모리인 KV 캐시가 추론·에이전트형 워크로드에서 HBM을 넘쳐흐를 때 — 토큰을 생산하지 못한 채 와트만 소모한다. 이를 더 빠르게 공급하면 동일한 전력 여유로 더 많은 매출을 얻을 수 있다.

왜 중요한가

전력은 더 이상 풍부한 투입 자원이 아니다. 2026년 7월 이 지표를 전면에 내세운 I/O Fund는 ERCOT의 계통연계 대기열이 438GW를 넘어섰으며, 이 중 약 390GW가 데이터센터라고 지적한다. 반면 2024~2025년 동안 실제로 추가된 용량은 약 23GW에 불과했다. 칩 세대가 바뀔수록 전력벽에서 끌어오는 양도 늘어난다: H100은 약 700W, Blackwell은 1,200~1,400W, Rubin은 약 2,300W다. 손쉬운 효율 개선 지렛대는 이미 소진됐다 — 하이퍼스케일러의 PUE가 1.09에서 1.17 수준이라 컴퓨트 자체를 제외하면 더 짜낼 여지가 거의 없다. 그리고 메모리 월은 활용률 문제를 구조적인 것으로 만든다: 2023년까지 20년간 컴퓨트는 2년마다 약 3배씩 늘었지만 메모리 대역폭은 1.6배 늘어나는 데 그쳤고, 이 간극은 Rubin에서도 이어진다 — Blackwell 대비 추론 컴퓨트는 5배 늘지만 HBM 대역폭은 2.8배, 용량은 1.5배에 그친다. HBM이 가속기와 함께 패키징되어 출하되기 때문에, 메모리를 더 사려면 활용도가 낮은 컴퓨트도 함께 더 사야 하며, 가속기 부품비(BOM)에서 HBM이 차지하는 비중은 B200의 약 52%에서 Rubin의 약 62%로 높아지고 있다 — 이것이 메모리 슈퍼사이클의 배경이다.

두 가지 아키텍처

엔지니어링적 해법은 오프로드 엔진이다: 더 저렴한 메모리 계층에서 가속기에 KV 캐시를 계속 공급해주는 전용 하드웨어다. 두 갈래 경로가 형성되고 있다. Nvidia의 독자 규격인 CMX는 BlueField-4 DPU와 랙 스케일 SSD 계층을 Rubin 플랫폼과 결합한다 — Nvidia 자체 발표에 따르면 KV 캐시 작업에서 최대 5배의 토큰 처리량과 5배의 전력 효율을 주장하며, Vera Rubin 랙과 Groq 3 LPX 랙을 결합할 경우 GB200 NVL72 대비 메가와트당 토큰 수가 최대 35배에 달한다고 한다. 개방형 경로는 PCIe를 기반으로 한 벤더 중립 표준인 CXL을 통해 진행된다: Marvell의 Structera 컨트롤러는 약 30와트로 작동하는 반면 CPU나 GPU를 추가할 경우 150~700와트가 필요하며, Marvell의 데이터에 따르면 16TB 풀링 계층에서 처리량이 4.8배 증가한다. 2025년 초 이미 서버의 3분의 2가 CXL을 지원했으며, 2026년 말까지 90% 이상으로 늘어날 전망이다. 의미심장하게도 Nvidia 자체의 Vera CPU도 CXL 3.1을 지원한다 — 독자 규격을 밀어붙이는 진영조차 개방형 문을 완전히 닫지는 않는 셈이다.

어떻게 읽어야 하는가

세 가지 관전 포인트가 있다. 첫째, 하이퍼스케일러 실적발표 언어를 보라: 경영진이 토큰 매출을 전력 대비로 언급하기 시작하면, 이 지표는 이미 성과판이 된 것이다. 둘째, 랙 단위 사양을 보라: 메가와트당 토큰 수는 이제 Nvidia 키노트의 헤드라인 숫자가 되었으며, 이는 각 플랫폼 세대가 이 지표로 평가받는다는 뜻이다. 셋째, 비율 상승이 어디서 오는지를 보라 — 실리콘(신규 가속기), 아키텍처(오프로드 엔진), 아니면 입지(전력 제약이 용량을 잉여 에너지 지역으로 옮기는 것) 중 어느 것인지에 따라 스택의 다른 레이어가 재평가된다.