Skip to content

部署与异构实验资产表 ​

本表登记部署实验使用的环境、候选身份、工作负载、结果路径和证据状态。安装与恢复命令见实验 Quickstart,跨专题 Profile 与隔离关系见环境资产索引,实际软件版本和硬件快照写入结果 JSON。

环境角色 ​

环境或角色直接入口可形成的证据不能替代的证据
CPU 逻辑检查阅读正文 01–08;代码练习见 Part 01 · 34、Part 02 · 39/72/81/82/83对应页面的字段、能力门槛、路由与决策逻辑真实加载、计算内核与服务性能
INF-VLLM-011-CU128Part 02 · 66、67、72、82、83单卡 vLLM 加载、固定请求、延迟、吞吐、容量和失败记录SGLang、llama.cpp、端侧或多卡结论
量化产物生成40、53 使用 Q-CUDA-MECHANISM;82 另用目标后端检查加载生成候选包,保留校准、质量和文件清单目标服务后端的执行收益
通信与并行环境Part 02 · 39、81 与通信专题项目多设备状态布局、通信、状态交接和扩展证据单卡候选的质量与产物完整性
端侧执行环境llama.cpp / GGUF 等独立候选CPU、统一内存或部分卸载路径的延迟与内存GPU 服务后端的吞吐排名

后端环境相互隔离。部署专题通过共同的模型 revision、输入协议、质量集和工作负载连接结果,不通过共享 Python 环境连接不同执行栈。

模型与工作负载角色 ​

角色默认选择用途结论边界
语义与产物基线Qwen/Qwen2.5-0.5B-Instruct检查模型、分词器、模板、量化产物和加载器不形成生产服务性能结论
单卡服务候选Qwen/Qwen3-0.6BvLLM 启动、固定请求、并发、容量与服务指标只适用于登记的模型配置和后端版本
量化部署候选82 通过准入的稳定产物引用比较浮点与量化路径产物生成成功不代表目标计算内核生效
多设备候选81 登记的真实模型和请求集比较副本、模型切分或阶段分离单卡结果不能外推扩展效率

每次运行至少固定模型 revision、分词器与模板、输入输出长度、并发、预热、重复、质量集、设备和推理后端。模型、后端或工作负载改变后使用新的运行标签。

项目与结果注册表 ​

稳定项目 ID / 页面直接输入与固定对照结果路径当前证据状态
INF-FLOAT-BASELINE / Part 02 · 66固定模型和请求;Transformers 语义参考与 vLLM 浮点服务benchmarks/results/66_*.json 与后端日志已有 vLLM 单卡结果;改变模型或服务配置后需重新建立基线
QUANT-ARTIFACT-GATE / Part 02 · 82一个量化候选包;检查血缘、文件、质量方向和目标加载器benchmarks/results/82_quantization_artifact_evaluation/项目入口与契约已建立;具体候选需按量化资产表登记
QUANT-INFERENCE-DEPLOY / Part 02 · 67同模型浮点基线与 82 合格产物benchmarks/results/67_quantized_deployment/项目入口已建立;只有真实加载和请求结果才能升级为部署证据
INF-SINGLE-GPU-DEPLOY / Part 02 · 72同一工作负载下的模型、后端或精度候选benchmarks/results/72_single_gpu_deployment/CPU 项目逻辑可用;稳定真实后端结果仍需登记
QUANT-SERVING-PROFILE / Part 02 · 8367 的稳定量化部署引用;延迟、均衡与吞吐配置benchmarks/results/83_quantized_serving_profile/配置基准入口已建立;采用结论依赖配对复测
PAR-DISTRIBUTED-INFERENCE / Part 02 · 81单实例基线与副本、模型切分或阶段分离候选benchmarks/results/81_distributed_inference/逻辑项目已建立;真实多卡后端结果暂缺

推荐验证顺序 ​

默认先做浮点单卡验证:CPU 契约检查 → 66 浮点基线 → 72 单卡候选 → 配置回归与交付检查。量化候选在浮点基线之外增加 82 产物准入与 67 部署对照,再用 83 比较量化服务配置;单实例容量或服务目标无法满足时,再进入 81 多设备分支。各分支按本次目标分别验证,Part 05 使用自己的输入与项目协议。

路径阶段验证对象通过条件失败后的动作
公共准备CPU 契约与设备能力候选身份完整,目标设备和后端没有已知阻断项修复产物、输入协议或能力条件,不进入性能比较
浮点基线66 浮点服务基线固定请求能够重复完成,质量与服务指标可记录修复环境、模型或请求协议
单卡默认路径72 单卡候选固定请求、设备与统计方式;模型、后端或精度的变化单独声明,并满足相同任务质量要求保留失败日志,检查路径回退或容量边界
量化分支:产物82 量化产物准入文件、哈希、模型 revision、质量方向和加载器检查通过拒绝产物或返回量化专题重新生成
量化分支:执行67 量化部署对照对照对应浮点基线,记录实际加载与计算路径、质量和服务指标检查量化格式、后端支持与执行回退
量化分支:配置83 量化服务配置回归至少一组配置满足对应质量、容量和服务目标调整配置或回退到上一稳定候选
公共复测当前候选的配置回归固定质量集与请求,配对检查配置变化后的延迟、吞吐、容量和失败率调整配置或恢复上一稳定版本
多设备扩展81 多设备候选单实例不足证据明确,通信、状态交接和恢复结果完整保留为待验证候选,补真实设备与后端结果
综合交付Part 05 独立项目按项目协议验证候选的成本、降级、恢复和回滚条件输出调优或拒绝决定,不以局部吞吐代替交付结论

部署结果增量字段 ​

通用结果契约之外,部署证据至少增加以下字段:

字段组必须记录的内容
候选身份模型、revision、分词器、模板、产物 ID、文件哈希与配置
执行环境设备、驱动、运行时、推理后端、实际数据类型与目标计算路径
工作负载输入模态、输入输出长度、并发、预热、重复、质量集版本
服务指标TTFT、TPOT、端到端延迟、P95/P99、吞吐、峰值显存和失败率
路径证据加载器、计算内核或执行事件、回退原因、状态交接与传输等待
交付状态失败、降级、恢复、回滚、证据等级与采用决定

环境预检、加载成功和单次请求只证明相应阶段可运行。只有固定工作负载下的重复测量、质量检查和路径证据同时完整,结果才能进入部署选型。

Released under the MIT License.