Group 2.8: Quantization and Low-Bit Adaptation | 2.8：量化与低比特适配

本组聚焦量化与低比特适配，目标是把“怎样表示、范围如何选择、采用哪条路径、怎样证明值得部署”串成一条路线。学习先用 25 建立 W8A16 表示和粒度，再由 52 搜索校准范围与 clipping quantile，随后进入 QLoRA、QAT、GPTQ/AWQ、SmoothQuant、混合位宽、FP8 与 KV Cache 量化。剪枝、蒸馏与一般稀疏化暂作为后续扩展，不混入当前核心路径。

Group Overview | 组概览

这一组围绕“怎样在可接受误差下减少存储、带宽或计算成本”展开。25 建立基础表示，52 负责数据驱动的范围选择；26 与 QUANT-QAT 区分低比特 adapter 训练和量化感知训练，40、53 与 QUANT-MIXED-BIT 处理权重、激活和跨层位宽分配，41、54 分别处理 FP8 运行时和 KV Cache 状态量化。推理量化先经 82 审计 artifact、质量和兼容性，再进入 66/67 的部署对照。

本组非项目页统一沿用 26 的 notebook-first 结构，组页只负责阅读路径与资产导航。

Group Asset Overview | 组内资产总览

页	职责作用	推荐实现入口	定位
25	判断 W8A16 的对象、表示与收益边界	PyTorch / Transformers	核心机制
52	在独立 validation 数据上搜索校准范围与 clipping quantile	PyTorch / Transformers	核心机制
26	理解 QLoRA 和 4bit 训练适配	Transformers / bitsandbytes	核心机制
QUANT-QAT	理解 observer、STE 与量化感知训练的状态契约	PyTorch	语义编号候选机制页
40	理解校准、误差与 GPTQ/AWQ artifact	Transformers / quantization backend	核心机制
53	理解激活异常值、通道平滑与 W8A8 误差	PyTorch / SmoothQuant	核心机制
QUANT-MIXED-BIT	根据逐层敏感度、预算和 backend 支持分配位宽	PyTorch	语义编号候选机制页
41	区分 FP8 格式、缩放策略与原生运行时路径	PyTorch / Transformer Engine / backend	核心机制
54	比较 K/V 异轴量化、追加状态与缓存容量账本	PyTorch / KIVI	核心机制
65	低资源 QLoRA 训练适配与 adapter 交付	Transformers / PEFT	后训练交叉入口
66	建立浮点 baseline 与统一 workload	PyTorch / serving backend	项目基线
82	审计量化 artifact、校准/评测隔离与 loader 兼容性	CPU；可选单 GPU / backend	量化产物 gate
67	验证 artifact、backend 与部署收益	serving backend	项目收口
83	在三类 Serving profile 下比较量化配置与 SLO	CPU；可选单 GPU / serving backend	Serving 专项基准

Learning Path | 学习路径

Recommended Order | 推荐顺序

主机制路线如下，25 先建立量化表示，52 再回答范围如何从数据中选出：

25 W8A16 基础
→ 52 校准范围与 clipping
  ├─ 26 QLoRA 低比特训练
  ├─ QUANT-QAT 量化感知训练
  ├─ 40 GPTQ / AWQ 权重量化
  ├─ 53 SmoothQuant 激活量化
  ├─ QUANT-MIXED-BIT 混合位宽分配
  ├─ 41 FP8 运行时路径
  └─ 54 KV Cache 量化

• 训练显存受限时从 26 进入项目 65；PTQ 质量不足且允许继续训练时选择 QUANT-QAT。两条训练路径都不能替代推理量化 artifact 的验证。
• QUANT-MIXED-BIT 应在 40/53 已产出可比较敏感度后学习，负责跨层预算分配，不重复各页的量化算法。
• 推理压缩分别按权重、激活、运行时计算和缓存状态选择 40、53、41、54，不要求四条分支全部顺序学习。
• 项目阶段先用 82 检查 artifact gate，再由 67 运行匹配的浮点—量化部署对照，最后用 83 按服务目标选择 Profile。66 可作为浮点历史对照，但不是 67 的必需上游。

Next Steps | 后续衔接

• 看完本组后，可以进入 2.9，把并行与通信边界接起来。
• 如果目标是项目验证或显存调优，也可以继续进入 2.10，或回看 43 与 75；自动调优方法见算子优化 Task5。

Environment Notes | 环境说明

• 默认按 CPU-first 阅读，优先把压缩与量化策略看懂。
• 各页默认从 CPU 机制开始；需要 GPU 或 backend 证据时，以单页实验配置为准。