Skip to content

07 端到端基准与决策(Benchmark and Decision) ​

学习问题 ​

开启缓存的候选首词元更快,却可能占用更多常驻显存;提高并发上限的候选吞吐更高,也可能让少数请求等待更久。比较需要回答目标负载中的取舍,而不是找一个最大的加速比。

先声明候选改变什么,再共用请求、质量与测量协议。比较一次缓存开关时和比较整套配置时,可以共用测量方法,但两者能解释的原因不同。

下图从同一请求集合分出基线和候选两条路径。先确认两份结果可以比较,再对照门槛作决定;条件不成立时,先修复测量,而不是给候选作性能排序。

共同请求分别进入基线与候选,核对比较有效性后作采用判断

单项归因与组合比较 ​

前缀缓存单项实验可以保持模型、并发上限和请求流不变,只切换缓存;组合比较则可以同时改变缓存与并发上限,回答整套配置是否适用。后者不能把吞吐变化全部归功于缓存。

量化、后端或精度本身是候选变量时,应记录两侧实际取值,共用模型语义、任务质量和请求协议。固定其余条件,而不是强制固定正在比较的变量。配对比较是让同一请求或同一请求集合分别在基线和候选下执行,并对应保留结果;它不要求两侧同时运行,也不要求两侧的执行批次完全相同。

分开启动、缓存状态与稳态 ​

首次调用可能包含加载、编译、内核选择和缓存准备。长驻服务的稳态比较可以在准备后测量,但一次性任务还需要报告启动成本。预热不能悄悄替候选预先建立应当计费的前缀缓存。

缓存实验应明确冷请求与热复用请求:分别记录状态建立、复用范围和请求顺序。调度实验则保留到达协议与请求事件,比较相同的请求集合,而不是只比较同一时刻的活跃数量。

多轮交替测量可以降低顺序与设备状态的影响;汇总保留各轮样本、失败和超时。样本不足时,尾部分位数只是当前小样本描述,不足以代表生产尾延迟。

同一组结果为何有不同选择 ​

设一组构造结果中,候选将吞吐从每秒 100 个词元提高到 130 个,却让首词元 P95 从 200 ms 升到 350 ms。若交互服务要求首词元 P95 不超过 300 ms,它不满足门槛;若离线任务允许等待且质量与成本通过,整套候选仍可能可用。这里的数值仅说明决策方法。

质量、失败和资源预算先构成可接受范围,再在通过门槛的方案间排序。更短但错误或截断的回答,不算有效产出。长度桶是按事先约定的输入长度或目标输出预算,将请求分组统计,例如短、中、长输入分别计算延迟;两侧保持相同分组,避免平均值掩盖长请求退化,也避免候选提前结束后被重新划入更短的一组。

比较对象保留的证据决策用途
输入与候选身份模型、请求、到达、采样、配置差异和版本确认比较范围与归因边界
请求结果TTFT、TPOT、总时间、实际长度、停止与失败判断等待与有效产出
资源与路径显存、执行后端、内核、缓存或通信事件解释资源代价与实际命中
多轮与分桶原始样本、轮次、长度桶和统计口径观察波动、尾部和适用范围
质量与成本独立任务质量、资源时间、重试与有效输出判断收益是否覆盖代价

从专项比较到综合复测 ​

局部机制实验固定一个主要变化,专项服务实验验证真实请求路径,综合项目则独立固定服务负载与配置组合并重新测量。已有结果可以提供候选来源,不能替代新负载下的计时与质量检查。

单卡候选可以直接完成采用判断。只有目标容量、吞吐或可靠性仍不满足时,再比较副本或模型内部并行;进入分布式推理后,额外记录设备数量、通信、最慢参与者和恢复代价。

采用判断需要区分“尚未证明满足要求”和“已经确认违反门槛”。例如,性能改善但独立质量尚未评估时,只能保留为待核验候选;输出等价性核对失败后,还要按事先声明的比较要求判断是否直接拒绝,或先定位差异再复测。缺少质量证据与已确认质量不合格不能混写为同一种原因,二者都不能直接采用。

读取已有报告时,accept、tune、reject 按该报告的比较协议解释,并同时查看各项检查结果;tune 本身不证明数值、执行或质量已经通过。比较条件不成立时,应先修复测量,不能用无效比较给候选作性能排序。

采用判断判断依据下一动作
采用当前负载的质量、性能、失败与资源门槛均通过保留配置、来源与可恢复基线
调整或补证尚不足以支持采用,需定位数值、执行或质量差异,补充评估,或改善性能与波动逐项注明已通过、未通过和未评估的检查;保留基线,修复或补证后重新判断
拒绝有效比较已确认违反事先声明的硬性门槛,如必须满足的输出正确性或资源预算保留失败原因与原基线;候选修复后使用新标签复测

Released under the MIT License.