Skip to content

01 · 推理服务交付综合项目 ​

项目类型:综合交付 环境:INF-VLLM-011-CU128

项目目标 ​

本项目独立固定模型、请求负载和服务门槛,在同一单卡环境下比较基线(关闭缓存、max_num_seqs=4)与候选(开启缓存、max_num_seqs=8)两套组合配置。项目依据答案正确率、回答完整度、延迟、吞吐、显存和基线可恢复性形成 accept / tune / reject 决策;文本一致率只作辅助信息。Part 02 · 72 的交接清单可选,仅记录候选来源;本项目重新测量两个候选。

69、70 分别测量局部机制;本项目只判断缓存与并发上限组成的服务配置是否适合交付,不拆分两项设置的单独收益。

输入与输出 ​

项目阶段必需输入主要动作输出
独立准入固定模型缓存、服务环境和冻结请求集核对资产可用性;可选读取 72 交接清单作为来源本次实验的输入身份
配对复测同一模型、生成参数、请求集和到达方式自动启动基线与候选;保存答案核对、停止原因、请求输出和 GPU 读数正确率、完整率、延迟、吞吐、成功率与显存
交付判断配对结果、服务配置、基线配置与门槛检查服务失败、输出变化、SLO 和资源约束accept / tune / reject 决策记录

运行方式 ​

项目只使用 INF-VLLM-011-CU128 一个环境;Notebook 会按候选启动服务、发请求并关闭服务:

  1. 按推理优化 Quickstart创建 INF-VLLM-011-CU128。
  2. 打开 Inference_Service_Project.ipynb,在第 1 层设置唯一 RUN_LABEL;每轮只改 ACTIVE_CANDIDATE 选择基线或候选。模型检查只读取本地缓存,不会下载。
  3. 默认 RUN_STAGE 为 contract_check;完成检查并设置唯一标签后,再切换到 measure。Notebook 按当前候选启动并关闭 vLLM。
  4. 使用同一标签依次测完基线和候选,再运行结果核对与收口单元,生成完整交付记录。

项目范围 ​

本项目比较缓存与并发上限的联合配置,不拆分单项收益;单卡结果不代表多卡、分离式部署或故障切换表现。

预注册指标 ​

这些是实验前的判断指标和方向假设,不是结果承诺;本机实测前不填写性能数值。

指标比较用途预期方向或门槛
请求成功率检查服务可用性目标 100%;任何请求失败都不能通过
标准答案正确率核对 5 道固定算术请求的最终整数目标 100%;5 个任务各重复 4 次,每组复测 3 轮
完整正确率、正常停止率同时检查答案正确与 finish_reason=stop目标 100%;length 记为截断,不能算完整正确
答案格式有效率核对是否输出 Answer: <integer>目标 100%;未按格式输出不计为可核验答案
同题答案重复一致率检查同一算术题的重复请求是否得到同一数值答案记录稳定性,辅助解释不同文本是否只是表述变化
精确文本一致率比较基线和候选的同请求完整文本记录差异作诊断,不代替答案正确性,也不单独拦截候选
TTFT P95衡量首词元等待共享前缀负载下预期不升;须低于配置门槛
TPOT P95、输出吞吐检查生成阶段是否回退TPOT 不超过门槛,吞吐不低于门槛
GPU 峰值占用观察服务配置调整后的显存变化不超过配置上限;记录读数包含同卡其他进程

缓存主要复用重复前缀的预填充计算,因此重点看 TTFT;短实验结果不代表生产流量。

多个候选同时通过时,项目默认依次比较 TPOT P95、TTFT P95 和吞吐;实际项目应在配置中预先确定排序目标。

后续扩展 ​

Part 02 · 81 完成多卡验证后,可以增加分布式服务候选,但仍需使用相同请求与质量协议。多机故障注入、弹性扩缩容和生产流量回放应作为后续综合项目扩展,不由当前单卡证据代替。

Released under the MIT License.