量化与压缩(Quantization and Compression)
专题类型:横向工程专题 学习目标:解释紧凑表示的误差与执行条件,比较质量、资源和运行代价。
量化与压缩研究怎样用更紧凑的表示或结构降低容量、带宽和计算成本,同时把数值误差、质量风险和执行条件保持在可接受范围。权重、激活、训练状态和 KV Cache 位于不同生命周期,必须分别选择粒度、校准方式和验证指标。
本路线先建立表示、校准与误差的公共机制,再分流到低比特训练和推理量化,最后检查训练资产、量化产物、计算内核与目标工作负载。剪枝、蒸馏和结构稀疏作为压缩扩展,沿用同一套“对象—机制—执行—证据”判断框架。
学习路线
按 Task 顺序学习时使用下表;需要连续理解因果关系时进入量化问题链,遇到质量、容量、加载或吞吐异常时使用量化问题排查手册,术语差异查询专题术语表,跨页核对符号和约束时使用公式索引。
前半段先建立量化表示、校准与误差机制,再分别进入训练和推理分支;随后检查产物、实际执行路径,并在固定工作负载中作出采用决策。优化器状态与梯度量化需要不同的训练状态与通信证据,按需进入训练压缩扩展。
| Task / 主题 | 本阶段要回答的问题 | 学习入口与验证出口 | 学习顺序 | 主要正文入口 |
|---|---|---|---|---|
| Task0 · 量化对象、生命周期与证据 | 权重、激活、训练状态和 KV Cache 何时存在,局部数值证据与工作负载证据如何区分? | 基础:Part 00 · 05 Tensor → Part 01 · 01 数据类型与精度 | 对象 → 生命周期 → 风险 → 证据等级 | 01 量化对象、表示与误差 |
| Task1 · 数值表示、量化参数与粒度 | 给定浮点范围后,怎样映射到低精度网格;逐张量、逐通道、逐组分别带来多少表示误差和量化参数元数据? | 核心:Part 01 · 21 量化理论 → Part 02 · 25 W8A16 | 码值与数据类型 → 缩放因子 / 零点 → 粒度状态 → 误差—元数据对照 → 反量化 | 01 量化对象、表示与误差 |
| Task2 · 校准范围、裁剪与误差验证 | 位宽、表示和粒度固定后,范围应从哪些校准样本与统计量得到,裁剪如何平衡舍入误差和饱和误差? | 核心:Part 02 · 52 校准范围与裁剪;Task1 的 25 提供表示前置 | 校准分布 → 范围候选 → 舍入 / 裁剪误差 → 独立验证 → 冻结量化参数 | 02 校准协议与 PTQ/QAT 分流 |
| Task3 · 低比特适配与训练辅助量化 | 显存受限时如何训练适配器;PTQ 质量不足时如何用 QAT 适配量化噪声? | 核心:Part 02 · 26 QLoRA 与 QUANT-QAT;出口:65 QLoRA 选型 | QLoRA:低比特底座 → 适配器;QAT:伪量化 → 误差适配 → 转换 | 03 低比特训练适配 |
| Task4 · 推理量化与位宽分配 | 权重、激活、计算格式和 KV 状态应分别使用哪种量化方法? | 权重:40 GPTQ / AWQ;激活:53 SmoothQuant;计算:41 FP8;状态:54 KV Cache;分配:Mixed-bit | 简单基线 → 统计驱动算法 → 按对象选型 → 混合位宽 | 04 权重量化 → 05 运行期量化路径 |
| Task5 · 量化产物与执行路径验证 | 训练产物能否重新加载,量化权重包能否被目标后端消费,运行时配置实际改变了哪条执行路径? | 权重包:82 量化产物评估;适配器:65 QLoRA 选型;FP8/KV 配置:41、54 的 Step 5 | 按产物分流 → 核对版本与配置 → 重新加载或执行 → 记录实际路径与回退原因 | 06 执行与基准测试决策 |
| Task6 · 分工作负载的质量与性能决策 | 已通过 Task5 的候选,在固定训练或推理工作负载中是否达到质量、容量、延迟和吞吐目标? | 训练出口:65 QLoRA 选型;推理项目链:82 产物准入 → 67 匹配部署 → 83 服务 Profile,66 浮点基线作为可选历史对照 | 固定条件 → 分支基线 / 候选 → 质量与资源 → 归因 → accept / tune / reject | 06 执行与基准测试决策 |
扩展与跨专题入口
需要比较量化之外的压缩方法时,进入07 剪枝、蒸馏与结构稀疏。该页区分数值表示、连接或结构变化与教师—学生目标;蒸馏已接入机制页和项目 88,剪枝训练与稀疏计算内核仍待建设。
按需回补
需要继续解释结构压缩、底层执行或设备兼容性时,按实际问题回补下列内容。
| 补充主题 | Notebook 入口 | 建议时机 |
|---|---|---|
| Tensor Core 深入 | Part 01 · 23 Tensor Core 深入 | Task4–5;需要解释累加精度和计算内核条件时 |
| Attention 结构与 KV 表示 | Part 01 · 04 Attention 显存优化 | Task4;需要区分结构压缩、表示量化与缓存管理时 |
| 异构设备与运行时兼容性 | Part 01 · 34 异构加速器与运行时约束 | Task5;需要检查数据类型、量化产物、算子和运行时支持时 |
跨专题入口
需要沿训练质量与适配器继续学习时进入后训练优化;需要解释 TTFT、TPOT 和 Serving 行为时进入推理优化;需要归因容量、带宽和关键路径收益时进入性能优化与性能分析;需要判断设备、运行时和回退路径时进入部署与异构系统。
实验与项目出口
首次运行先按实验 Quickstart创建或恢复环境,再从实验资产表选择实验 ID、模型、数据、候选和结果路径;跨专题 Profile 与隔离关系查询环境资产索引,实际软件版本与硬件快照写入结果 JSON。机制页确认数值、质量或状态变化,项目页再检查产物准入、真实执行后端和目标工作负载。
| 证据阶段 | 要回答的问题 | 输出与入口 |
|---|---|---|
| 机制证据 | 量化对象、误差、容量或训练行为是否按预期改变? | 52 的 CPU 校准搜索,以及 25、26、40、41、53、54、Mixed-bit、QAT 的机制 JSON |
| 产物准入 | 产物血缘、质量、产物清单和目标加载器是否合格? | QUANT-ARTIFACT-GATE / 82 |
| 部署验证 | 合格产物是否被目标后端正确加载并执行? | QUANT-INFERENCE-DEPLOY / 67 |
| 服务决策 | 在固定请求下,质量、容量、TTFT、TPOT 和吞吐是否达到目标? | QUANT-SERVING-PROFILE / 83 |
