Skip to content

04 · 量化交付综合项目 ​

项目目标 ​

本项目固定小模型、校准与留出数据、GPTQ 配置和服务负载,从浮点基线生成量化产物,再完成质量检查、真实加载和服务配对。它检验这套固定方案能否满足目标负载下的质量、延迟、吞吐与显存要求,不比较量化算法的普遍优劣。数据身份、产物哈希、后端加载、请求输出和资源指标均由本项目记录;Part 02 的 40、67、82、83 节仅供方法参考,不是运行输入,也不替代本项目测量。

项目流程 ​

阶段输入本项目核对输出
固定输入本项目固定的模型、校准集、留出集和请求负载核验数据切分、模型版本与运行预算可复现实验身份
量化与准入浮点基线及 GPTQ W4A16 候选评估留出集 NLL、产物文件、配置和哈希可进入服务测试的候选
服务配对本项目量化产物与浮点基线固定后端、硬件、请求负载和生成参数,测任务正确率、延迟、吞吐与显存配对服务证据
综合决策本项目全部阶段记录核验量化执行路径、质量守护值、服务门槛和回退条件accept / tune / reject 交付结论

量化与服务分两个阶段运行:先生成量化产物并测留出集 NLL,再加载同一产物完成浮点—量化服务配对。两阶段通过本项目的 RUN_LABEL、模型版本、产物清单和文件哈希关联;离线 NLL 不能代替真实请求质量或服务测量。

固定请求集位于 benchmarks/workloads/part05_quantization_delivery.jsonl,每条包含请求 ID、提示词和标准答案。标准答案只用于本地评分,不发送给服务模型;该小型算术负载用于检查配对回归,不代表通用能力评测。

环境与运行 ​

按量化阶段使用 Q-CUDA-MECHANISM,按部署阶段使用 INF-VLLM-011-CU128。两环境分别禁止安装对方的核心依赖,因此不合并成一个环境。Notebook 首个配置单元只设置本次 RUN_LABEL 和阶段;本项目自行生成并传递产物,不要求先运行 Part 02 的量化项目。

预注册判断 ​

判断项通过条件
量化质量本项目留出集 NLL 相对 BF16 不超过 1.10;校准集与评测集样本摘要不同
产物准入产物文件、量化配置和 SHA256 清单齐全;vLLM 真实加载成功
服务配对浮点与量化运行使用同一模型、请求集、后端、硬件和生成参数;确认量化路径且无回退
服务目标20 条固定请求完整正确率至少 80%,相对 BF16 基线下降不超过 10 个百分点;TTFT、TPOT、吞吐和显存满足配置门槛
来源完整性本项目各阶段文件存在、解析成功,产物哈希复核一致

缺少必需证据时为 pending;产物身份、执行路径或配对条件错误时为 reject;证据有效但门槛未达时为 tune。全部阶段证据完整且候选通过所有门槛,才判为 accept。

相关阅读 ​

Released under the MIT License.