量化与压缩公式索引
本页统一量化专题反复使用的符号、单位和约束。机制页负责解释公式为何成立、怎样进入代码和如何验证;本页用于跨页对照,不替代机制推导。
公共符号
| 符号 | 含义 | 单位或范围 |
|---|---|---|
| 浮点原值与反量化近似值 | 与原张量一致 | |
| 量化码 | ||
| 缩放因子与零点 | ||
| 位宽与分组大小 | bit,元素数 | |
| 被量化元素数 | 元素数 | |
| 校准范围候选集合 | — |
表示、校准与误差
对称量化以零为中心:
以下量化式假定缩放因子为正、非对称输入范围具有非零宽度;全零张量或常量张量需要单独约定正的最小缩放值或常量编码方式。
非对称量化用零点覆盖偏移区间:
校准需要同时观察重建误差和饱和比例:
训练期低比特适配
伪量化在前向中执行量化—反量化,浮点主权重仍由优化器更新:
QLoRA 冻结低比特底座,只训练低秩增量:
其中
权重、激活与位宽分配
令
令
令
运行期状态与容量
对 FP8 或其他有限范围格式,令
忽略量化元数据时,单层 KV Cache 主体容量可近似为
其中
教师—学生蒸馏扩展
蒸馏不改变量化表示,而是用教师反馈训练独立学生模型。令固定轨迹分布为
令同一 Token 位置的教师和学生分布为
端点单独定义:
使用边界
- 公式给出数值与容量关系,不证明目标后端具有对应低精度计算内核。
- 校准误差不能替代任务质量;机制页应同时记录校准集、验证集和量化参数。
- 元数据、打包对齐、临时反量化缓冲区和后端回退会使真实容量偏离理想估算。
