量化与压缩深入阅读

假设你接手的是一个已经能跑的模型，但它太大、太占显存，或者服务侧的 cache 预算已经顶不住。接下来你会开始问：到底该压权重、激活还是 KV cache，先做 PTQ，还是已经需要 QAT、GPTQ、AWQ、FP8 这类路线。

这条线最重要的是按暴露顺序判断：先看约束出在哪类对象上，再看量化该在什么时候介入，最后回到部署和 benchmark 做结论。

对应正文：01 量化对象与误差直觉。先定义压缩对象和质量边界，再讨论算法。

第一段：量化不是起点，约束才是起点

故事通常从“模型太大、带宽太高、cache 顶住预算”开始，而不是从“来学一种新方法”开始。第一步要先分清约束到底落在权重、激活还是 KV cache。

如果想最快落地，先看 PTQ；如果 PTQ 误差太大，但还有训练预算，再看 QAT 或低比特训练适配；如果训练已经结束，只想在保精度前提下压缩，再看 GPTQ / AWQ。

一旦进入 FP8 或 KV cache quant，问题就不再只是“误差能不能接受”，还包括硬件支持、执行路径和服务侧代价。也就是说，量化并不只是一条数学路线，它会重新进入系统约束。

这一步对应 04 权重量化与后训练压缩和 05 FP8 与 KV Cache 量化。不同对象对应不同收益来源，不能用一个指标统一替代。

真正的收口不在“用了哪种量化方法”，而在 benchmark 是否证明它适合当前 workload。把这条故事走完以后，一个更像真实结论的说法通常不是“我们做了 GPTQ”，而是：当前约束为什么推动系统走向量化、为什么是这条路线、以及它是否真的值得部署。

这一步对应 06 部署与 Benchmark 决策。最终报告必须能解释采用、调优或回退的理由。