06. 产物、执行与工作负载决策 | Artifact, Execution, and Workload Decision
学习问题
权重、激活、训练适配或 KV Cache 候选只有被目标系统接收、命中预期执行路径，并在固定工作负载中重复质量与资源收益后，才能进入工程决策。输出是一份带适用条件的 accept / tune / reject 结论，以及能够追溯该结论的清单、原始结果和失败记录。
Task5：验证产物与真实执行路径
量化候选必须依次经过五个环节。量化方法、数值格式、产物格式、执行后端和计算内核是五个不同字段；只有执行证据才能说明实际使用了哪条计算路径。
量化产物可定位 → 加载器可识别 → 执行后端可运行 → 计算内核 / 回退路径可确认 → 工作负载可比较
从量化产物到执行路径
| 环节 | 需要回答的问题 | 最小证据 | 未通过时的处理 |
|---|---|---|---|
| 量化产物 | 文件、配置和来源能否追溯？ | 模型版本标识、量化配置、产物清单、哈希 | 回到候选生成或产物整理 |
| 加载器 | 目标加载器是否识别格式与元数据？ | 加载器/执行后端版本、加载日志 | 记录兼容性失败，不能进入性能比较 |
| 执行后端 | 请求是否由目标执行栈完成？ | 执行后端配置、硬件、运行日志 | 检查格式支持或更换执行路径 |
| 计算内核 | 是否命中预期低精度计算内核？ | 数据类型、计算内核或性能剖析器证据、回退路径 | 不把文件缩小写成速度收益 |
| 工作负载 | 质量、容量和性能是否达到目标？ | 固定输入、基线/候选、重复运行 | 根据失败项继续调优或拒绝候选 |
训练与推理使用不同证据
训练适配产物通常是适配器或合并模型；推理量化产物包含面向加载器和执行后端的量化权重与元数据。两者可以衔接，但必须经过显式转换和独立复测。
| 工作负载 | 主要证据 | 不能替代的证据 |
|---|---|---|
| 低比特训练 | 收敛、验证质量、峰值显存、单步耗时、训练吞吐 | 推理执行后端、TTFT、TPOT 与服务吞吐 |
| 离线或在线推理 | 独立质量、加载与运行显存、延迟、吞吐、计算内核/回退路径 | 适配器更新正确性和训练稳定性 |
| 性能归因 | 字节数、带宽、计算路径和端到端变化 | 未固定工作负载的局部计时或文件大小 |
Task6：在固定工作负载中作出决策
固定比较契约
基线与候选使用同一模型来源、分词器、输入和运行条件，只改变明确登记的候选变量。
| 字段组 | 必须固定或记录的内容 |
|---|---|
| 量化产物 | 模型版本标识、路径、量化方法、格式、配置、校准摘要、产物清单 |
| 执行环境 | 硬件、驱动、PyTorch、加载器、执行后端、计算内核 / 回退路径 |
| 工作负载 | 输入提示或数据集、输入/输出长度、批次、并发、预热、重复次数、采样参数 |
| 结果 | 质量、显存、TTFT、TPOT、端到端延迟、吞吐、P95/P99、原始日志 |
| 决策 | 基线/候选、质量门槛、资源预算、证据等级、失败原因 |
证据如何衔接
不同阶段可以复用已经产生的结果，但必须保留来源、版本和工作负载，避免把训练质量、离线量化误差和服务性能当作同一种证据。
| 语义资产 | 交付给下一阶段的证据 | 使用条件 |
|---|---|---|
| 训练适配产物 | 适配器 / 合并模型、训练质量、转换记录 | PTQ 质量不足且需要训练适配时使用 |
| 量化产物清单 | 清单、校准/评测隔离、质量门槛、加载器兼容性 | 通过后才能进入同口径性能比较 |
| 浮点基线 | 固定工作负载、执行后端、运行环境和原始结果 | 为量化候选提供相同条件的参照 |
| 部署运行记录 | 格式元数据、计算内核/回退路径、资源与质量结果 | 形成可部署候选和初步决策 |
| 服务性能记录 | 延迟、吞吐与容量配置、尾延迟、失败记录 | 根据目标 SLO 选择最终配置 |
决策规则
最终报告应明确压缩对象、执行路径、质量变化、资源与性能变化、失败记录和适用范围。出现具体失败时使用量化问题排查手册回查 01–05；进入异构设备前，再执行运行时兼容性检查。
| 决策 | 条件 | 下一步 |
|---|---|---|
accept | 质量和资源均达标，执行路径明确，重复运行方向一致 | 固化量化产物、配置和适用范围 |
tune | 候选可运行，但校准、粒度、执行后端、工作负载或重复证据不足 | 只调整一个变量后复测 |
reject | 无法加载、质量低于门槛，或资源代价超过预算 | 回到候选生成或更换路线 |