Skip to content

量化与压缩公式索引 ​

本页统一量化专题反复使用的符号、单位和约束。机制页负责解释公式为何成立、怎样进入代码和如何验证;本页用于跨页对照,不替代机制推导。

公共符号 ​

符号含义单位或范围
x,x^浮点原值与反量化近似值与原张量一致
q量化码[qmin,qmax] 内的整数
s,z缩放因子与零点s>0, z 为整数码
b,g位宽与分组大小bit,元素数
N被量化元素数元素数
C校准范围候选集合—

表示、校准与误差 ​

对称量化以零为中心:

以下量化式假定缩放因子为正、非对称输入范围具有非零宽度;全零张量或常量张量需要单独约定正的最小缩放值或常量编码方式。

s=maxi|xi|qmax,qi=clip(roundxis,qmin,qmax),x^i=sqi.

非对称量化用零点覆盖偏移区间:

s=xmax−xminqmax−qmin,z=clip(round(qmin−xmins),qmin,qmax),qi=clip(roundxis+z,qmin,qmax),x^i=s(qi−z).

校准需要同时观察重建误差和饱和比例:

MSE(c)=1N∑i=1N(xi−x^i(c))2,ρsat(c)=1N∑i=1N1(|xi|>c),c∗=arg⁡minc∈CMSE(c)s.t.ρsat(c)≤τ.

训练期低比特适配 ​

伪量化在前向中执行量化—反量化,浮点主权重仍由优化器更新:

x~=s(clip(roundxs+z,qmin,qmax)−z),∂x~∂x≈1(xmin≤x≤xmax).

QLoRA 冻结低比特底座,只训练低秩增量:

y=xW^T+αr(xAT)BT.

其中 W^ 是反量化后的底座近似, A,B 是秩为 r 的适配器参数, α 是缩放系数。

权重、激活与位宽分配 ​

令 Δw 为量化前后的权重扰动, H 为校准输入估计的局部曲率或二阶代理, ΔL 为对应的损失变化近似。GPTQ 类方法用曲率加权误差近似扰动影响:

ΔL≈12ΔwTHΔw.

令 xj 和 Wj 分别表示输入通道 j 的激活与权重, sj>0 为该通道的平滑系数, α∈[0,1] 控制动态范围从激活侧迁移到权重侧的程度。SmoothQuant 用逐通道正缩放保持线性层等价:

xW=(xdiag(s)−1)(diag(s)W),sj=max|xj|αmax|Wj|1−α.

令 l 为层编号, B 为可用位宽集合, El(bl) 为第 l 层采用位宽 bl 时的误差代理, Nl 为该层元素数, Bbit 为总 bit 预算。混合位宽是在预算下分配离散位宽:

minbl∈B∑lEl(bl)s.t.∑lNlbl≤Bbit.

运行期状态与容量 ​

对 FP8 或其他有限范围格式,令 fmax 为可表示上限, s 为映射缩放因子, xlow 为缩放后转换到低精度格式的张量。缩放需让绝对最大值落入格式范围:

s=maxi|xi|fmax,xlow=cast(x/s).

忽略量化元数据时,单层 KV Cache 主体容量可近似为

MKV≈2BLHkvDhb8.

其中 B,L,Hkv,Dh 分别是批大小、缓存长度、KV Head 数和 Head 维度;系数 2 对应 Key 与 Value。全模型容量需对所有缓存层求和;各层形状和位宽相同时,再乘以层数。

教师—学生蒸馏扩展 ​

蒸馏不改变量化表示,而是用教师反馈训练独立学生模型。令固定轨迹分布为 μoff(y∣x),当前学生策略为 πS(y∣x), λ∈[0,1] 是学生在策略轨迹比例,则训练轨迹来自

μλ(y∣x)=(1−λ)μoff(y∣x)+λπS(y∣x).

令同一 Token 位置的教师和学生分布为 pT,pS。当 β∈(0,1) 时,混合分布和广义 Jensen–Shannon 散度为

mβ=βpT+(1−β)pS,DGJSβ(pT,pS)=βDKL(pT‖mβ)+(1−β)DKL(pS‖mβ).

端点单独定义: β=0 使用前向 DKL(pT‖pS), β=1 使用反向 DKL(pS‖pT)。其中 λ 控制轨迹来源, β 控制教师—学生分布的比较方式;二者不能互换。具体的完成区掩码、有效 Token 归约和梯度边界见 DISTILL-OPD 在策略蒸馏与 GKD。

使用边界 ​

  • 公式给出数值与容量关系,不证明目标后端具有对应低精度计算内核。
  • 校准误差不能替代任务质量;机制页应同时记录校准集、验证集和量化参数。
  • 元数据、打包对齐、临时反量化缓冲区和后端回退会使真实容量偏离理想估算。

Released under the MIT License.