量化与压缩实验资产表
本表回答“某个量化实验具体使用什么输入、比较什么候选、输出到哪里、当前证据到哪一步”。环境创建命令见实验 Quickstart;Profile 与隔离关系见环境资产索引,实际依赖版本和硬件快照写入结果 JSON。本页不复制安装命令和逐包版本。
环境角色
机制、训练和服务使用相互隔离的环境。依赖解析成功只代表环境可用,不代表量化路径、计算内核或性能已经验证。
| 环境 ID | 角色与直接入口 | 证据边界 |
|---|---|---|
Q-CPU | TorchAO、LLM Compressor、compressed-tensors 与 HQQ 的小规模框架核对 | 只形成 CPU 框架语义证据,不作为 Kernel、显存或性能证据 |
Q-CUDA-MECHANISM | 25、40、41、53、54、Mixed-bit、QAT、Part 05·04 量化阶段 | 单卡真实模型机制、产物生成或局部执行证据;不等于 Serving 证据 |
Q-QLORA | 26、65 | BF16 LoRA / NF4 QLoRA 配对训练和适配器交付 |
INF-VLLM-011-CU128(专题角色:Q-VLLM) | 67、82、83 的主服务后端 | 量化产物加载、实际请求和服务性能证据;使用 vLLM 0.11 / PyTorch 2.8 / CUDA 12.8 锁定组合 |
Q-SGLANG | 67、83 的可选同口径对照 | 必须固定同一模型、产物、硬件和请求清单 |
Q-GGUF | 67 的 llama.cpp / 端侧扩展 | 尚未建立默认环境,不进入当前主实验链 |
模型与数据口径
| 角色 | 固定选择 | 使用规则 |
|---|---|---|
| 机制矩阵基线 | Qwen/Qwen2.5-0.5B-Instruct | 用于真实层形状、多候选和质量对照;模型与分词器使用同一 commit |
| 规模交叉候选 | Qwen/Qwen2.5-1.5B-Instruct | 用于 QLoRA 规模复测和后续服务候选;不得与 0.5B 结果合并 |
| 新架构兼容候选 | Qwen/Qwen3-0.6B | 只验证新架构、分词器或后端兼容性,单独登记结果 |
| 校准与质量数据 | Salesforce/wikitext / wikitext-2-raw-v1 | 固定 revision;校准、训练、验证和测试按页面职责隔离并保存样本 ID 哈希 |
| 无数据集工作负载 | 固定层、提示、Token 长度和随机种子 | 25、41、54 使用工作负载清单,不为执行路径验证下载无关数据集 |
模型、数据或量化格式改变后必须使用新的运行标签。离线 JSONL 只有在样本身份、划分和内容哈希可复核时,才能替代 Hugging Face 数据快照。
机制实验注册表
每个实验只在本表登记一次。详细候选参数留在对应 Notebook 的 5.1,完整指标保存在结果 JSON。
| 实验 ID / 页面 | 环境与输入 | 固定对照 | 结果资产与当前结论 |
|---|---|---|---|
QUANT-W8A16-LAYER / 25 | Q-CUDA-MECHANISM;0.5B 的 q_proj / gate_proj / down_proj;1 / 32 / 256 Token | FP16 Linear → torchao INT8 仅权重量化 | benchmarks/results/25_torchao_w8a16_layer_microbenchmark_default1.json;容量和质量通过,只有 q_proj、32 Token 达到明显加速 |
QUANT-QLORA-MECHANISM / 26 | Q-QLORA;0.5B 与 1.5B;固定训练 / 验证 / 测试划分 | BF16 LoRA → NF4 QLoRA | 结果:benchmarks/results/26_lora_qlora_mechanism_matrix_default2.json;适配器:benchmarks/artifacts/26_qlora/default2/;1.5B 显存收益伴随质量和单步时间代价 |
QUANT-WEIGHT-PTQ / 40 | Q-CUDA-MECHANISM;0.5B;互斥校准 / 评测数据 | BF16 → RTN / GPTQ / AWQ W4A16 | 结果:benchmarks/results/40_llmcompressor_gptq_awq_default11.json;产物:benchmarks/artifacts/40_gptq_awq/default11/;GPTQ 入选下游检查,尚无 Serving 性能结论 |
QUANT-SMOOTHQUANT / 53 | Q-CUDA-MECHANISM;0.5B;互斥校准 / 评测数据 | BF16 / 普通 W8A8 → alpha=0.5/0.7/0.8/0.9 | 结果:benchmarks/results/53_llmcompressor_smoothquant_default111.json;产物:benchmarks/artifacts/53_smoothquant/default111/;alpha=0.5 入选,真实 W8A8 Kernel 仍待验证 |
QUANT-FP8-RUNTIME / 41 | Q-CUDA-MECHANISM;0.5B;提示 × Token 长度矩阵 | BF16 → FP8 仅权重 / dynamic 逐张量 / dynamic PerRow | benchmarks/results/41_torchao_fp8_runtime_default13.json;18 个矩阵点完成,存储与接口事件已记录;局部数值门槛未全部通过、无加速点,决策为 tune_or_fallback。原生路径仍需关联 CUDA 子内核与输入/累加类型 |
QUANT-KV-RUNTIME / 54 | Q-CUDA-MECHANISM;0.5B;上下文 × 高精度残留窗口 | Transformers DynamicCache → HQQ QuantizedCache,K/V 同轴 | benchmarks/results/54_transformers_quantized_cache_matrix_default18.json;六组矩阵,2048词元候选通过本地门槛,accept_local_cache_candidate。容量为生成增量峰值,时间含 Prefill;质量仅16词元固定轨迹,不代表独立任务集、KIVI 异轴收益或 Serving 准入 |
QUANT-MIXED-BIT-ALLOCATION / Mixed-bit | Q-CUDA-MECHANISM;0.5B;校准扫描 Block 敏感度,验证集比较并选择候选 | 统一 INT8/INT4 → 12.5%/25%/50% 高敏感 Block 保护 | benchmarks/results/quant_mixed_bit_mechanism_default3.json;历史选中保护 3/24 个 Block 的候选,它在通过该验证集质量门槛的方案中模型状态字节数最少,6/24 在该验证集上质量余量更大;最终独立测试、目标加载器与服务性能另行验证 |
QUANT-QAT-CLOSED-LOOP / QAT | Q-CUDA-MECHANISM;0.5B 中间 Block;训练 / 验证 / 测试隔离 | INT4 PTQ → QAT 训练 5 / 20 / 50 步后转换 | 结果:benchmarks/results/quant_qat_closed_loop_default2.json;产物:benchmarks/artifacts/quant_qat/default2/block_12_50_steps.pt;证明局部质量恢复,不证明完整模型压缩或生产 Kernel |
产物与执行后端
| 路径 | 交付物 | 验证入口 | 明确限制 |
|---|---|---|---|
| INT8 仅权重量化 | 当前进程内 torchao 模块 | 25 / PyTorch | 不自动形成 vLLM 可加载产物 |
| NF4 QLoRA | 适配器、基础模型与量化配置 | 26 → 65 / Transformers | 适配器不是 GPTQ、AWQ 或 GGUF 产物 |
| GPTQ / AWQ W4A16 | 带量化元数据的模型目录 | 40 → 82 → 67 / vLLM | 产物生成成功不证明加载器和 Kernel 支持 |
| SmoothQuant W8A8 | W8A8 压缩产物 | 53 → 82 → 兼容后端 | 必须单独确认真实 W8A8 计算内核 |
| FP8 路径 | 进程内模型或运行配置 | 41 / PyTorch | 存储类型、累加精度和 Kernel 分别取证 |
| KV Cache 量化 | Transformers 运行时 Cache 状态 | 54 / Transformers | 不代表 vLLM/SGLang 的量化 Cache 路径 |
| GGUF | .gguf 文件 | 67 扩展 → llama.cpp | 使用独立环境和端侧证据,不交给 vLLM |
vLLM 是 GPTQ/AWQ 服务执行的主验证后端;SGLang 只作同口径对照。TensorRT-LLM 只有在建立版本化容器、Engine 构建记录和插件支持矩阵后,才能加入默认候选。
项目出口
| 稳定项目 ID | 输入 → 输出 | 当前承载与主责 |
|---|---|---|
PT-QLORA-SELECTION | 固定数据、rank、steps 与预算 → 训练 JSON、适配器清单 | 65;后训练主归属,量化训练交叉入口 |
QUANT-ARTIFACT-GATE | 40 的已接受结果与获选产物 → 通过血缘、文件哈希、质量记录和真实加载器检查的产物 | 82;通过 UPSTREAM_RUN_LABEL 自动定位候选包,无需复制路径 |
QUANT-INFERENCE-DEPLOY | 浮点基线与合格产物 → 同模型后端部署结果 | 67;vLLM 主验证,GGUF 走独立路径 |
QUANT-SERVING-PROFILE | 同一产物与请求清单 → 延迟优先、均衡、吞吐优先结果 | 83;服务配置与决策收口 |
QUANT-INTEGRATED-DELIVERY | 固定模型与数据 → GPTQ 产物、留出集质量及 vLLM 服务配对 | Part 05·04;独立生成量化产物并形成跨环境交付结论,不替代 40、82、67、83 的专项证据 |
项目验证顺序
量化项目按证据阶段运行,不按 Notebook 编号排序。每一阶段只消费一个必需的直接上游资产;更早阶段的模型、数据和产物血缘由该资产继续携带。
| 顺序 | 项目与输入 | 本阶段验证 | 通过后输出 |
|---|---|---|---|
| 0 | 40 / Q-CUDA-MECHANISM,唯一 RUN_LABEL | 运行 RTN / GPTQ / AWQ 矩阵;确认决策接受且获选目录含 candidate_bundle.json | 40 结果 JSON 与本地产物目录 |
| 1 | INF-VLLM-011-CU128 | 检查 Serving 环境、模型缓存和结果目录;候选权重须可从本地路径读取 | 可执行加载器预检的环境 |
| 2 | QUANT-ARTIFACT-GATE / 82,填写 40 的 UPSTREAM_RUN_LABEL | 自动定位获选候选;核对文件角色、哈希、数据隔离、质量方向和 vLLM 加载 | 合格产物 companion 与稳定引用 |
| 3 | QUANT-INFERENCE-DEPLOY / 67,填写 82 的 UPSTREAM_RUN_LABEL | 本地不可变浮点快照与同源量化产物;三轮交替顺序配对、相同请求与后端;启动参数不充当量化内核证据 | 原始成员、报告和回执;仅 accept 生成部署引用 |
| 4 | QUANT-SERVING-PROFILE / 83,填写 67 的 UPSTREAM_RUN_LABEL | 延迟、均衡、吞吐三类压力都完成后按各自 SLO 判断;重复 p95 是各轮 p95 均值 | 逐场景结论、汇总报告与回执 |
| 5 | 全链资产复核 | schema、血缘、失败记录、结果路径和唯一运行标签 | 可进入 Part 05 的项目证据 |
40 必须先生成并接受候选包,82 才能进行加载准入;82、67、83 的项目结果需在对应环境按顺序完成。新环境复现时,先运行 40,再把该次运行标签填入 82 的 UPSTREAM_RUN_LABEL。机制实验的局部结论不能代替量化服务链验收。
82 的 accept 只表示产物可以进入部署验证;67 的 accept 表示固定工作负载下量化候选有足够执行证据并达到本页门槛,默认加载日志和启动参数尚不足时保持 pending;83 的 accept 要求三类压力均完成,且至少一类满足自身 SLO,范围仅限达标场景。当前尚未登记这三页新协议的真实结果。驱动、backend、候选产物或固定 workload 发生变化时,从受影响的最早阶段开始复测,不覆盖历史结果。
量化契约增量
通用结果字段与证据等级遵循Part 02 结果资产与证据契约。量化实验额外记录以下内容。
| 量化特有层 | 必须固定或记录的字段 |
|---|---|
| 表示配置 | 量化对象、格式、bits、scheme、缩放因子、零点、粒度、分组大小 |
| 数据隔离 | 校准 / 训练 / 验证 / 测试职责、revision、样本 ID 哈希和更新统计的阶段 |
| 产物身份 | artifact_id、manifest、文件哈希、量化工具版本、基础模型版本 |
| 路径证据 | 实际 dtype、量化状态、loader、Kernel 或性能剖析器事件、fallback 原因 |
只有通用契约和量化增量同时完整,结果才能从“入口已设计”升级为“已验证快照”。
