端侧大模型的显存占用如何优化？量化和 KV Cache 联合优化的效果如何？

端侧大模型的显存占用由模型权重、KV Cache 和中间激活三部分构成。联合优化这三部分可实现显著的显存节省。

1. 权重量化

INT4 量化可将 7B 模型的权重从约 14GB（FP16）压缩至约 4GB，压缩比达 75%。结合 INT8 激活量化和 INT4 KV Cache 量化，可实现全链路低比特推理。

2. KV Cache 量化

KV Cache 量化是显存优化中空间最大的环节。以 Google TurboQuant 为例，该算法在 Needle-in-a-Haystack 长上下文检索测试中，将 KV Cache 压缩至 4 倍，检索精度仍保持 99.7%（与全精度基线持平）；在 LongBench 综合基准上，3.5-bit 压缩即可实现与全精度基线完全一致的平均分。KV Pareto 等系统级框架可自动搜索模型权重量化、KV Cache 量化和分页注意力的最优组合配置。

3. 联合优化效果

量化与 KV Cache 优化的联合使用效果显著优于单独使用。典型方案中，INT4 权重量化可将 7B 模型权重从约 14GB（FP16）压缩至约 4GB，再结合 KV Cache 量化（如 KVTuner 混合精度方案），可在保持极低精度损失的同时进一步减少 KV Cache 显存占用。实际总内存减少幅度因上下文长度、模型架构和量化方案组合而异，需要根据具体部署场景实测验证。