部署与异构实验资产表
本表登记部署实验使用的环境、候选身份、工作负载、结果路径和证据状态。安装与恢复命令见实验 Quickstart,跨专题 Profile 与隔离关系见环境资产索引,实际软件版本和硬件快照写入结果 JSON。
环境角色
| 环境或角色 | 直接入口 | 可形成的证据 | 不能替代的证据 |
|---|---|---|---|
| CPU 逻辑检查 | 阅读正文 01–08;代码练习见 Part 01 · 34、Part 02 · 39/72/81/82/83 | 对应页面的字段、能力门槛、路由与决策逻辑 | 真实加载、计算内核与服务性能 |
INF-VLLM-011-CU128 | Part 02 · 66、67、72、82、83 | 单卡 vLLM 加载、固定请求、延迟、吞吐、容量和失败记录 | SGLang、llama.cpp、端侧或多卡结论 |
| 量化产物生成 | 40、53 使用 Q-CUDA-MECHANISM;82 另用目标后端检查加载 | 生成候选包,保留校准、质量和文件清单 | 目标服务后端的执行收益 |
| 通信与并行环境 | Part 02 · 39、81 与通信专题项目 | 多设备状态布局、通信、状态交接和扩展证据 | 单卡候选的质量与产物完整性 |
| 端侧执行环境 | llama.cpp / GGUF 等独立候选 | CPU、统一内存或部分卸载路径的延迟与内存 | GPU 服务后端的吞吐排名 |
后端环境相互隔离。部署专题通过共同的模型 revision、输入协议、质量集和工作负载连接结果,不通过共享 Python 环境连接不同执行栈。
模型与工作负载角色
| 角色 | 默认选择 | 用途 | 结论边界 |
|---|---|---|---|
| 语义与产物基线 | Qwen/Qwen2.5-0.5B-Instruct | 检查模型、分词器、模板、量化产物和加载器 | 不形成生产服务性能结论 |
| 单卡服务候选 | Qwen/Qwen3-0.6B | vLLM 启动、固定请求、并发、容量与服务指标 | 只适用于登记的模型配置和后端版本 |
| 量化部署候选 | 82 通过准入的稳定产物引用 | 比较浮点与量化路径 | 产物生成成功不代表目标计算内核生效 |
| 多设备候选 | 81 登记的真实模型和请求集 | 比较副本、模型切分或阶段分离 | 单卡结果不能外推扩展效率 |
每次运行至少固定模型 revision、分词器与模板、输入输出长度、并发、预热、重复、质量集、设备和推理后端。模型、后端或工作负载改变后使用新的运行标签。
项目与结果注册表
| 稳定项目 ID / 页面 | 直接输入与固定对照 | 结果路径 | 当前证据状态 |
|---|---|---|---|
INF-FLOAT-BASELINE / Part 02 · 66 | 固定模型和请求;Transformers 语义参考与 vLLM 浮点服务 | benchmarks/results/66_*.json 与后端日志 | 已有 vLLM 单卡结果;改变模型或服务配置后需重新建立基线 |
QUANT-ARTIFACT-GATE / Part 02 · 82 | 一个量化候选包;检查血缘、文件、质量方向和目标加载器 | benchmarks/results/82_quantization_artifact_evaluation/ | 项目入口与契约已建立;具体候选需按量化资产表登记 |
QUANT-INFERENCE-DEPLOY / Part 02 · 67 | 同模型浮点基线与 82 合格产物 | benchmarks/results/67_quantized_deployment/ | 项目入口已建立;只有真实加载和请求结果才能升级为部署证据 |
INF-SINGLE-GPU-DEPLOY / Part 02 · 72 | 同一工作负载下的模型、后端或精度候选 | benchmarks/results/72_single_gpu_deployment/ | CPU 项目逻辑可用;稳定真实后端结果仍需登记 |
QUANT-SERVING-PROFILE / Part 02 · 83 | 67 的稳定量化部署引用;延迟、均衡与吞吐配置 | benchmarks/results/83_quantized_serving_profile/ | 配置基准入口已建立;采用结论依赖配对复测 |
PAR-DISTRIBUTED-INFERENCE / Part 02 · 81 | 单实例基线与副本、模型切分或阶段分离候选 | benchmarks/results/81_distributed_inference/ | 逻辑项目已建立;真实多卡后端结果暂缺 |
推荐验证顺序
默认先做浮点单卡验证:CPU 契约检查 → 66 浮点基线 → 72 单卡候选 → 配置回归与交付检查。量化候选在浮点基线之外增加 82 产物准入与 67 部署对照,再用 83 比较量化服务配置;单实例容量或服务目标无法满足时,再进入 81 多设备分支。各分支按本次目标分别验证,Part 05 使用自己的输入与项目协议。
| 路径阶段 | 验证对象 | 通过条件 | 失败后的动作 |
|---|---|---|---|
| 公共准备 | CPU 契约与设备能力 | 候选身份完整,目标设备和后端没有已知阻断项 | 修复产物、输入协议或能力条件,不进入性能比较 |
| 浮点基线 | 66 浮点服务基线 | 固定请求能够重复完成,质量与服务指标可记录 | 修复环境、模型或请求协议 |
| 单卡默认路径 | 72 单卡候选 | 固定请求、设备与统计方式;模型、后端或精度的变化单独声明,并满足相同任务质量要求 | 保留失败日志,检查路径回退或容量边界 |
| 量化分支:产物 | 82 量化产物准入 | 文件、哈希、模型 revision、质量方向和加载器检查通过 | 拒绝产物或返回量化专题重新生成 |
| 量化分支:执行 | 67 量化部署对照 | 对照对应浮点基线,记录实际加载与计算路径、质量和服务指标 | 检查量化格式、后端支持与执行回退 |
| 量化分支:配置 | 83 量化服务配置回归 | 至少一组配置满足对应质量、容量和服务目标 | 调整配置或回退到上一稳定候选 |
| 公共复测 | 当前候选的配置回归 | 固定质量集与请求,配对检查配置变化后的延迟、吞吐、容量和失败率 | 调整配置或恢复上一稳定版本 |
| 多设备扩展 | 81 多设备候选 | 单实例不足证据明确,通信、状态交接和恢复结果完整 | 保留为待验证候选,补真实设备与后端结果 |
| 综合交付 | Part 05 独立项目 | 按项目协议验证候选的成本、降级、恢复和回滚条件 | 输出调优或拒绝决定,不以局部吞吐代替交付结论 |
部署结果增量字段
通用结果契约之外,部署证据至少增加以下字段:
| 字段组 | 必须记录的内容 |
|---|---|
| 候选身份 | 模型、revision、分词器、模板、产物 ID、文件哈希与配置 |
| 执行环境 | 设备、驱动、运行时、推理后端、实际数据类型与目标计算路径 |
| 工作负载 | 输入模态、输入输出长度、并发、预热、重复、质量集版本 |
| 服务指标 | TTFT、TPOT、端到端延迟、P95/P99、吞吐、峰值显存和失败率 |
| 路径证据 | 加载器、计算内核或执行事件、回退原因、状态交接与传输等待 |
| 交付状态 | 失败、降级、恢复、回滚、证据等级与采用决定 |
环境预检、加载成功和单次请求只证明相应阶段可运行。只有固定工作负载下的重复测量、质量检查和路径证据同时完整,结果才能进入部署选型。
