01 · 推理服务交付综合项目
项目类型:综合交付 环境:
INF-VLLM-011-CU128
项目目标
本项目独立固定模型、请求负载和服务门槛,在同一单卡环境下比较基线(关闭缓存、max_num_seqs=4)与候选(开启缓存、max_num_seqs=8)两套组合配置。项目依据答案正确率、回答完整度、延迟、吞吐、显存和基线可恢复性形成 accept / tune / reject 决策;文本一致率只作辅助信息。Part 02 · 72 的交接清单可选,仅记录候选来源;本项目重新测量两个候选。
69、70 分别测量局部机制;本项目只判断缓存与并发上限组成的服务配置是否适合交付,不拆分两项设置的单独收益。
输入与输出
| 项目阶段 | 必需输入 | 主要动作 | 输出 |
|---|---|---|---|
| 独立准入 | 固定模型缓存、服务环境和冻结请求集 | 核对资产可用性;可选读取 72 交接清单作为来源 | 本次实验的输入身份 |
| 配对复测 | 同一模型、生成参数、请求集和到达方式 | 自动启动基线与候选;保存答案核对、停止原因、请求输出和 GPU 读数 | 正确率、完整率、延迟、吞吐、成功率与显存 |
| 交付判断 | 配对结果、服务配置、基线配置与门槛 | 检查服务失败、输出变化、SLO 和资源约束 | accept / tune / reject 决策记录 |
运行方式
项目只使用 INF-VLLM-011-CU128 一个环境;Notebook 会按候选启动服务、发请求并关闭服务:
- 按推理优化 Quickstart创建
INF-VLLM-011-CU128。 - 打开
Inference_Service_Project.ipynb,在第 1 层设置唯一RUN_LABEL;每轮只改ACTIVE_CANDIDATE选择基线或候选。模型检查只读取本地缓存,不会下载。 - 默认
RUN_STAGE为contract_check;完成检查并设置唯一标签后,再切换到measure。Notebook 按当前候选启动并关闭 vLLM。 - 使用同一标签依次测完基线和候选,再运行结果核对与收口单元,生成完整交付记录。
项目范围
本项目比较缓存与并发上限的联合配置,不拆分单项收益;单卡结果不代表多卡、分离式部署或故障切换表现。
预注册指标
这些是实验前的判断指标和方向假设,不是结果承诺;本机实测前不填写性能数值。
| 指标 | 比较用途 | 预期方向或门槛 |
|---|---|---|
| 请求成功率 | 检查服务可用性 | 目标 100%;任何请求失败都不能通过 |
| 标准答案正确率 | 核对 5 道固定算术请求的最终整数 | 目标 100%;5 个任务各重复 4 次,每组复测 3 轮 |
| 完整正确率、正常停止率 | 同时检查答案正确与 finish_reason=stop | 目标 100%;length 记为截断,不能算完整正确 |
| 答案格式有效率 | 核对是否输出 Answer: <integer> | 目标 100%;未按格式输出不计为可核验答案 |
| 同题答案重复一致率 | 检查同一算术题的重复请求是否得到同一数值答案 | 记录稳定性,辅助解释不同文本是否只是表述变化 |
| 精确文本一致率 | 比较基线和候选的同请求完整文本 | 记录差异作诊断,不代替答案正确性,也不单独拦截候选 |
| TTFT P95 | 衡量首词元等待 | 共享前缀负载下预期不升;须低于配置门槛 |
| TPOT P95、输出吞吐 | 检查生成阶段是否回退 | TPOT 不超过门槛,吞吐不低于门槛 |
| GPU 峰值占用 | 观察服务配置调整后的显存变化 | 不超过配置上限;记录读数包含同卡其他进程 |
缓存主要复用重复前缀的预填充计算,因此重点看 TTFT;短实验结果不代表生产流量。
多个候选同时通过时,项目默认依次比较 TPOT P95、TTFT P95 和吞吐;实际项目应在配置中预先确定排序目标。
后续扩展
Part 02 · 81 完成多卡验证后,可以增加分布式服务候选,但仍需使用相同请求与质量协议。多机故障注入、弹性扩缩容和生产流量回放应作为后续综合项目扩展,不由当前单卡证据代替。
