Skip to content

量化与压缩实验资产表 ​

本表回答“某个量化实验具体使用什么输入、比较什么候选、输出到哪里、当前证据到哪一步”。环境创建命令见实验 Quickstart;Profile 与隔离关系见环境资产索引,实际依赖版本和硬件快照写入结果 JSON。本页不复制安装命令和逐包版本。

环境角色 ​

机制、训练和服务使用相互隔离的环境。依赖解析成功只代表环境可用,不代表量化路径、计算内核或性能已经验证。

环境 ID角色与直接入口证据边界
Q-CPUTorchAO、LLM Compressor、compressed-tensors 与 HQQ 的小规模框架核对只形成 CPU 框架语义证据,不作为 Kernel、显存或性能证据
Q-CUDA-MECHANISM25、40、41、53、54、Mixed-bit、QAT、Part 05·04 量化阶段单卡真实模型机制、产物生成或局部执行证据;不等于 Serving 证据
Q-QLORA26、65BF16 LoRA / NF4 QLoRA 配对训练和适配器交付
INF-VLLM-011-CU128(专题角色:Q-VLLM)67、82、83 的主服务后端量化产物加载、实际请求和服务性能证据;使用 vLLM 0.11 / PyTorch 2.8 / CUDA 12.8 锁定组合
Q-SGLANG67、83 的可选同口径对照必须固定同一模型、产物、硬件和请求清单
Q-GGUF67 的 llama.cpp / 端侧扩展尚未建立默认环境,不进入当前主实验链

模型与数据口径 ​

角色固定选择使用规则
机制矩阵基线Qwen/Qwen2.5-0.5B-Instruct用于真实层形状、多候选和质量对照;模型与分词器使用同一 commit
规模交叉候选Qwen/Qwen2.5-1.5B-Instruct用于 QLoRA 规模复测和后续服务候选;不得与 0.5B 结果合并
新架构兼容候选Qwen/Qwen3-0.6B只验证新架构、分词器或后端兼容性,单独登记结果
校准与质量数据Salesforce/wikitext / wikitext-2-raw-v1固定 revision;校准、训练、验证和测试按页面职责隔离并保存样本 ID 哈希
无数据集工作负载固定层、提示、Token 长度和随机种子25、41、54 使用工作负载清单,不为执行路径验证下载无关数据集

模型、数据或量化格式改变后必须使用新的运行标签。离线 JSONL 只有在样本身份、划分和内容哈希可复核时,才能替代 Hugging Face 数据快照。

机制实验注册表 ​

每个实验只在本表登记一次。详细候选参数留在对应 Notebook 的 5.1,完整指标保存在结果 JSON。

实验 ID / 页面环境与输入固定对照结果资产与当前结论
QUANT-W8A16-LAYER / 25Q-CUDA-MECHANISM;0.5B 的 q_proj / gate_proj / down_proj;1 / 32 / 256 TokenFP16 Linear → torchao INT8 仅权重量化benchmarks/results/25_torchao_w8a16_layer_microbenchmark_default1.json;容量和质量通过,只有 q_proj、32 Token 达到明显加速
QUANT-QLORA-MECHANISM / 26Q-QLORA;0.5B 与 1.5B;固定训练 / 验证 / 测试划分BF16 LoRA → NF4 QLoRA结果:benchmarks/results/26_lora_qlora_mechanism_matrix_default2.json;适配器:benchmarks/artifacts/26_qlora/default2/;1.5B 显存收益伴随质量和单步时间代价
QUANT-WEIGHT-PTQ / 40Q-CUDA-MECHANISM;0.5B;互斥校准 / 评测数据BF16 → RTN / GPTQ / AWQ W4A16结果:benchmarks/results/40_llmcompressor_gptq_awq_default11.json;产物:benchmarks/artifacts/40_gptq_awq/default11/;GPTQ 入选下游检查,尚无 Serving 性能结论
QUANT-SMOOTHQUANT / 53Q-CUDA-MECHANISM;0.5B;互斥校准 / 评测数据BF16 / 普通 W8A8 → alpha=0.5/0.7/0.8/0.9结果:benchmarks/results/53_llmcompressor_smoothquant_default111.json;产物:benchmarks/artifacts/53_smoothquant/default111/;alpha=0.5 入选,真实 W8A8 Kernel 仍待验证
QUANT-FP8-RUNTIME / 41Q-CUDA-MECHANISM;0.5B;提示 × Token 长度矩阵BF16 → FP8 仅权重 / dynamic 逐张量 / dynamic PerRowbenchmarks/results/41_torchao_fp8_runtime_default13.json;18 个矩阵点完成,存储与接口事件已记录;局部数值门槛未全部通过、无加速点,决策为 tune_or_fallback。原生路径仍需关联 CUDA 子内核与输入/累加类型
QUANT-KV-RUNTIME / 54Q-CUDA-MECHANISM;0.5B;上下文 × 高精度残留窗口Transformers DynamicCache → HQQ QuantizedCache,K/V 同轴benchmarks/results/54_transformers_quantized_cache_matrix_default18.json;六组矩阵,2048词元候选通过本地门槛,accept_local_cache_candidate。容量为生成增量峰值,时间含 Prefill;质量仅16词元固定轨迹,不代表独立任务集、KIVI 异轴收益或 Serving 准入
QUANT-MIXED-BIT-ALLOCATION / Mixed-bitQ-CUDA-MECHANISM;0.5B;校准扫描 Block 敏感度,验证集比较并选择候选统一 INT8/INT4 → 12.5%/25%/50% 高敏感 Block 保护benchmarks/results/quant_mixed_bit_mechanism_default3.json;历史选中保护 3/24 个 Block 的候选,它在通过该验证集质量门槛的方案中模型状态字节数最少,6/24 在该验证集上质量余量更大;最终独立测试、目标加载器与服务性能另行验证
QUANT-QAT-CLOSED-LOOP / QATQ-CUDA-MECHANISM;0.5B 中间 Block;训练 / 验证 / 测试隔离INT4 PTQ → QAT 训练 5 / 20 / 50 步后转换结果:benchmarks/results/quant_qat_closed_loop_default2.json;产物:benchmarks/artifacts/quant_qat/default2/block_12_50_steps.pt;证明局部质量恢复,不证明完整模型压缩或生产 Kernel

产物与执行后端 ​

路径交付物验证入口明确限制
INT8 仅权重量化当前进程内 torchao 模块25 / PyTorch不自动形成 vLLM 可加载产物
NF4 QLoRA适配器、基础模型与量化配置26 → 65 / Transformers适配器不是 GPTQ、AWQ 或 GGUF 产物
GPTQ / AWQ W4A16带量化元数据的模型目录40 → 82 → 67 / vLLM产物生成成功不证明加载器和 Kernel 支持
SmoothQuant W8A8W8A8 压缩产物53 → 82 → 兼容后端必须单独确认真实 W8A8 计算内核
FP8 路径进程内模型或运行配置41 / PyTorch存储类型、累加精度和 Kernel 分别取证
KV Cache 量化Transformers 运行时 Cache 状态54 / Transformers不代表 vLLM/SGLang 的量化 Cache 路径
GGUF.gguf 文件67 扩展 → llama.cpp使用独立环境和端侧证据,不交给 vLLM

vLLM 是 GPTQ/AWQ 服务执行的主验证后端;SGLang 只作同口径对照。TensorRT-LLM 只有在建立版本化容器、Engine 构建记录和插件支持矩阵后,才能加入默认候选。

项目出口 ​

稳定项目 ID输入 → 输出当前承载与主责
PT-QLORA-SELECTION固定数据、rank、steps 与预算 → 训练 JSON、适配器清单65;后训练主归属,量化训练交叉入口
QUANT-ARTIFACT-GATE40 的已接受结果与获选产物 → 通过血缘、文件哈希、质量记录和真实加载器检查的产物82;通过 UPSTREAM_RUN_LABEL 自动定位候选包,无需复制路径
QUANT-INFERENCE-DEPLOY浮点基线与合格产物 → 同模型后端部署结果67;vLLM 主验证,GGUF 走独立路径
QUANT-SERVING-PROFILE同一产物与请求清单 → 延迟优先、均衡、吞吐优先结果83;服务配置与决策收口
QUANT-INTEGRATED-DELIVERY固定模型与数据 → GPTQ 产物、留出集质量及 vLLM 服务配对Part 05·04;独立生成量化产物并形成跨环境交付结论,不替代 40、82、67、83 的专项证据

项目验证顺序 ​

量化项目按证据阶段运行,不按 Notebook 编号排序。每一阶段只消费一个必需的直接上游资产;更早阶段的模型、数据和产物血缘由该资产继续携带。

顺序项目与输入本阶段验证通过后输出
040 / Q-CUDA-MECHANISM,唯一 RUN_LABEL运行 RTN / GPTQ / AWQ 矩阵;确认决策接受且获选目录含 candidate_bundle.json40 结果 JSON 与本地产物目录
1INF-VLLM-011-CU128检查 Serving 环境、模型缓存和结果目录;候选权重须可从本地路径读取可执行加载器预检的环境
2QUANT-ARTIFACT-GATE / 82,填写 40 的 UPSTREAM_RUN_LABEL自动定位获选候选;核对文件角色、哈希、数据隔离、质量方向和 vLLM 加载合格产物 companion 与稳定引用
3QUANT-INFERENCE-DEPLOY / 67,填写 82 的 UPSTREAM_RUN_LABEL本地不可变浮点快照与同源量化产物;三轮交替顺序配对、相同请求与后端;启动参数不充当量化内核证据原始成员、报告和回执;仅 accept 生成部署引用
4QUANT-SERVING-PROFILE / 83,填写 67 的 UPSTREAM_RUN_LABEL延迟、均衡、吞吐三类压力都完成后按各自 SLO 判断;重复 p95 是各轮 p95 均值逐场景结论、汇总报告与回执
5全链资产复核schema、血缘、失败记录、结果路径和唯一运行标签可进入 Part 05 的项目证据

40 必须先生成并接受候选包,82 才能进行加载准入;82、67、83 的项目结果需在对应环境按顺序完成。新环境复现时,先运行 40,再把该次运行标签填入 82 的 UPSTREAM_RUN_LABEL。机制实验的局部结论不能代替量化服务链验收。

82 的 accept 只表示产物可以进入部署验证;67 的 accept 表示固定工作负载下量化候选有足够执行证据并达到本页门槛,默认加载日志和启动参数尚不足时保持 pending;83 的 accept 要求三类压力均完成,且至少一类满足自身 SLO,范围仅限达标场景。当前尚未登记这三页新协议的真实结果。驱动、backend、候选产物或固定 workload 发生变化时,从受影响的最早阶段开始复测,不覆盖历史结果。

量化契约增量 ​

通用结果字段与证据等级遵循Part 02 结果资产与证据契约。量化实验额外记录以下内容。

量化特有层必须固定或记录的字段
表示配置量化对象、格式、bits、scheme、缩放因子、零点、粒度、分组大小
数据隔离校准 / 训练 / 验证 / 测试职责、revision、样本 ID 哈希和更新统计的阶段
产物身份artifact_id、manifest、文件哈希、量化工具版本、基础模型版本
路径证据实际 dtype、量化状态、loader、Kernel 或性能剖析器事件、fallback 原因

只有通用契约和量化增量同时完整,结果才能从“入口已设计”升级为“已验证快照”。

Released under the MIT License.