量化省电吗？答案在 kernel，不在比特数

"4-bit 量化能省多少电？"——这个问题可能就问错了。我们在一张 RTX 4090 上对 Llama-3.1-8B-Instruct 做了对照测量：同为"压权重、保激活"的量化，不同实现把每 token 能耗效应拉开了 +106% 到 −62%。

llama.cpp 的 GGUF Q4_0 每 token 能耗比 F16 低 61.9%，代价是困惑度 +5.6%；同一张卡上 bitsandbytes 的 LLM.int8() 却比 FP16 高 106%。比特数能预测显存占用，预测不了能耗的正负号；引用省电比例而不说明运行时，引用的只是自己 kernel 的性质。

机制更有意思：Q4_0 解码功耗其实更高——F16 是 273W，两个 Q4_0 臂达 296–319W。它省电靠的是吞吐：每 token 搬运的字节只有四分之一，速度达 2.8–3.2 倍。能耗 = 功率 ÷ 吞吐，两因子方向相反，吞吐完胜。INT8 则相反：功耗几乎不动，吞吐掉到 0.63–0.72 倍，能耗于是上升。只测一样，看不到全貌。

方法上有一处值得借鉴：进程总能耗含加载权重（F16 是 16GB，Q4_0 只有 4.7GB），会让量化臂白占便宜。把 576-token 运行减去 64-token 运行，权重加载恰好抵消，剩下 512 个纯解码 token 的能耗；再用第三个 token 长度验证线性（R² ≥ 0.9966），差分才站得住。

这次测量也是个纠错样本：第一版 18 次运行、固定顺序、无冷却，报出 −63.6% 并自标临时数字。重跑加到 45 次、随机顺序、强制冷却、--ignore-eos、NVML 硬件计数器，数字修正为 −61.9%——高估约 1.7 个点。真正反转的是：三臂功耗并非"相同"，量化臂实际更高。旧数据仍公开挂着。

边界：单卡单会话，每格 n=5；困惑度未重测；能耗只覆盖 GPU 封装与解码阶段，不含 CPU 与整机。

一句话带走：下次看到"量化省电 X%"，先问一句——哪个 kernel？