Skip to content

量化问题排查手册 ​

先确认异常对象是权重、激活、训练状态还是 KV Cache,再区分数值误差、模型产物、执行路径和目标工作负载。最小证据必须来自同一模型版本、输入协议和运行环境。

从实验症状定位量化证据缺口

现象或目标先检查什么最小证据机制入口验证或转交入口
权重文件变小但模型仍装不进显存加载峰值、缩放元数据、临时工作区和其他状态文件大小、常驻/峰值显存、产物清单01 对象与误差04 权重量化
量化后任务质量下降校准分布、粒度、异常值和敏感层独立质量结果、误差统计、失败样本02 PTQ 与 QAT校准仍不足时进入 03 低比特训练适配
显存下降但延迟或吞吐没有改善反量化位置、目标计算内核和工作负载瓶颈实际数据类型、执行轨迹、TTFT/TPOT、吞吐05 运行期量化路径06 执行与决策
模型产物可加载但运行时回退浮点量化配置、加载器和后端支持矩阵加载日志、实际计算内核、回退原因06 执行与决策部署与异构检查兼容门槛
长上下文或高并发仍受限KV Cache 数据类型、粒度和高精度残留窗口缓存账本、任务质量、TPOT、并发容量05 运行期量化路径推理优化检查缓存和调度
QLoRA 不稳定或资源节省不明显可训练参数、计算数据类型、激活和优化器状态损失/质量、峰值显存、单步耗时、适配器清单03 低比特训练适配后训练优化检查训练控制
不同执行后端的结果无法比较模型/分词器版本、输入词元、量化格式和采样配置固定工作负载、环境版本、原始结果 JSON06 执行与决策重建配对基线后再作采用判断
剪枝后零值增多但没有速度收益稀疏模式和目标计算内核结构稀疏度、内核路径、质量与端到端性能07 剪枝、蒸馏与结构稀疏性能优化确认关键路径收益

容量或速度没有改善时怎样继续查 ​

先分开读取文件大小、加载峰值和生成时峰值。权重文件变小后,缩放参数、临时反量化张量、激活和 KV Cache 仍可能占据主要显存。若长上下文时峰值增长最快,应转查缓存长度与高精度尾部,而不是继续只降低权重位宽。

速度比较保留同一输入下的浮点基线,并分别检查预填充和解码。低比特内核节省的读写可能被反量化、数据布局转换或工作区抵消;发现回退时,记录实际执行路径,再到06 执行与决策判断当前候选是否值得继续调整。

先区分方法、数值表示和文件格式 ​

GPTQ、AWQ 描述量化方法,INT4、FP8 描述数值表示,GGUF 描述模型文件格式。同样写着 INT4 的两个候选,也可能需要不同的加载器和计算内核。排查时分别记录这些字段,而不是用一个“量化类型”替代全部配置。

质量下降时,先回查校准集与最终评测集是否隔离,再比较粒度、裁剪范围和敏感层。允许继续训练时,可考虑 QAT;QLoRA 则用于训练低比特基座上的适配器,二者的更新对象与最终产物不同。

Released under the MIT License.