04 · 量化交付综合项目
项目目标
本项目固定小模型、校准与留出数据、GPTQ 配置和服务负载,从浮点基线生成量化产物,再完成质量检查、真实加载和服务配对。它检验这套固定方案能否满足目标负载下的质量、延迟、吞吐与显存要求,不比较量化算法的普遍优劣。数据身份、产物哈希、后端加载、请求输出和资源指标均由本项目记录;Part 02 的 40、67、82、83 节仅供方法参考,不是运行输入,也不替代本项目测量。
项目流程
| 阶段 | 输入 | 本项目核对 | 输出 |
|---|---|---|---|
| 固定输入 | 本项目固定的模型、校准集、留出集和请求负载 | 核验数据切分、模型版本与运行预算 | 可复现实验身份 |
| 量化与准入 | 浮点基线及 GPTQ W4A16 候选 | 评估留出集 NLL、产物文件、配置和哈希 | 可进入服务测试的候选 |
| 服务配对 | 本项目量化产物与浮点基线 | 固定后端、硬件、请求负载和生成参数,测任务正确率、延迟、吞吐与显存 | 配对服务证据 |
| 综合决策 | 本项目全部阶段记录 | 核验量化执行路径、质量守护值、服务门槛和回退条件 | accept / tune / reject 交付结论 |
量化与服务分两个阶段运行:先生成量化产物并测留出集 NLL,再加载同一产物完成浮点—量化服务配对。两阶段通过本项目的 RUN_LABEL、模型版本、产物清单和文件哈希关联;离线 NLL 不能代替真实请求质量或服务测量。
固定请求集位于 benchmarks/workloads/part05_quantization_delivery.jsonl,每条包含请求 ID、提示词和标准答案。标准答案只用于本地评分,不发送给服务模型;该小型算术负载用于检查配对回归,不代表通用能力评测。
环境与运行
按量化阶段使用 Q-CUDA-MECHANISM,按部署阶段使用 INF-VLLM-011-CU128。两环境分别禁止安装对方的核心依赖,因此不合并成一个环境。Notebook 首个配置单元只设置本次 RUN_LABEL 和阶段;本项目自行生成并传递产物,不要求先运行 Part 02 的量化项目。
预注册判断
| 判断项 | 通过条件 |
|---|---|
| 量化质量 | 本项目留出集 NLL 相对 BF16 不超过 1.10;校准集与评测集样本摘要不同 |
| 产物准入 | 产物文件、量化配置和 SHA256 清单齐全;vLLM 真实加载成功 |
| 服务配对 | 浮点与量化运行使用同一模型、请求集、后端、硬件和生成参数;确认量化路径且无回退 |
| 服务目标 | 20 条固定请求完整正确率至少 80%,相对 BF16 基线下降不超过 10 个百分点;TTFT、TPOT、吞吐和显存满足配置门槛 |
| 来源完整性 | 本项目各阶段文件存在、解析成功,产物哈希复核一致 |
缺少必需证据时为 pending;产物身份、执行路径或配对条件错误时为 reject;证据有效但门槛未达时为 tune。全部阶段证据完整且候选通过所有门槛,才判为 accept。
相关阅读
- 40 · GPTQ 与 AWQ 权重量化:参考 GPTQ 配置与校准评测方法。
- 67 · 量化推理与部署:参考浮点与量化后端的配对证据。
