Skip to content

01 请求链路与指标(Request Path and Metrics) ​

学习问题 ​

一个请求等了很久才看到首词元,另一个请求首词元很快,后面却不断停顿。两者可能有相近的总耗时,等待发生的位置却不同。请求何时获得执行机会、输入怎样建立缓存、后续生成何时返回,需要放在同一条链路上观察。

先跟踪请求怎样组成执行批次,模型与缓存怎样支持持续生成,再用时间记录区分首词元等待、生成间隔和请求结束。吞吐、尾延迟与失败需要放在明确的负载和服务目标下比较,才能判断一次改动是否有用。

输入建立缓存,后续生成继续读写 ​

一条文本生成请求包含提示词和生成规则。提示词经分词转为输入词元,模型从词表中逐步选择输出词元;词元是模型处理的单位,不等同于一个汉字或单词。请求到达后可能先排队,获得准入并准备好输入,才进入模型执行。预填充(Prefill)处理输入词元,在各层建立后续注意力计算要用的键、值缓存(KV Cache),并产生用于首次采样的结果。输入越长,需要处理的位置通常越多,初始缓存也随之增长。

首次采样后,解码(Decode)以新词元继续推进:读取先前缓存,为新位置计算并追加键、值,再得到下一次采样所需的结果。请求因而一边生成,一边增长缓存,内容也可以逐步传回客户端。调度器在这些执行轮次之间决定哪些请求获得资源;KV Cache 贯穿预填充与解码,调度贯穿排队与执行,两者都会影响看到输出的时间。

生成遇到约定的终止词元(EOS)可以正常停止,达到输出长度上限也会结束,但后者可能截断尚未完成的回答。取消、超时和执行失败还要分别保留终止状态,不能都归为成功返回。

请求经过预填充与解码,KV 状态贯穿生成

从请求队列组成一轮执行批次 ​

单请求运行时,时间记录主要描述它自己的处理与返回。加入其他请求后,每条请求仍经过相同状态,但开始执行的时刻、后续生成间隔可能因资源竞争改变。例如,已有请求正在解码,新到达的长输入占用较多本轮时间时,已有请求的下一个词元可能延后。

并发数描述同一时刻尚未结束的请求数,到达率描述单位时间进入多少请求,执行批次(batch)则是本轮实际选中处理的请求集合。设 A、B、C、D 四条请求都已到达且尚未结束:A 正在解码,B 正在分块处理输入,C、D 仍在等待。某轮选中 A 推进一个解码位置、B 处理四个输入词元,便得到两条批次成员、五个待处理词元。并发数为四,不代表本轮 batch 也有四条,更不能据此认定本轮只有四个词元的工作。

从读取队列与状态、选择成员和工作量,到模型执行、必要的采样及状态更新,构成一次服务迭代。一轮迭代可以调用多个计算内核,也不保证每条请求都返回一个新词元:B 的输入尚未处理完时,可能只有缓存进度更新;A 若结束,下轮才有机会将释放的容量分给等待者。空出一个成员位置,也仍要检查缓存和本轮预算是否允许接纳。

同一轮中的量例子中的值它描述什么
并发请求数4 条:A、B、C、D已到达且尚未结束的请求
批次成员数2 条:A、B本轮实际选中处理的请求
本轮词元工作量5 个:A 的 1 个位置、B 的 4 个输入词元本轮计划交给模型的词元位置数
等待请求数2 条:C、D本轮没有获得执行机会的请求

资源与 CPU–GPU 分工怎样影响等待 ​

在普通单实例 GPU 服务中,多个请求通常共享同一组模型权重,各自保留仍需读取的 KV 状态;兼容前缀还可能共享部分缓存。执行时产生的临时激活和工作区也占显存。因此,增加请求既可能提高同一组权重的利用程度,也会增加缓存驻留和本轮工作量,吞吐提高与每条请求更快需要分别观察。

CPU 侧通常承担输入组织、队列管理、批次准备、计算提交和返回处理,GPU 侧主要执行模型的张量计算。前面的 A、B 被选中后,输入和状态信息仍需准备就绪,设备才能开始本轮计算;即使 GPU 计算很短,也可能等待下一批工作。下一轮准备能否与当前计算重叠,取决于数据依赖和执行资源,不能仅靠增加并发消除等待。

观察资源时先区分三类限制:模型计算需要时间,权重与历史状态的读取搬运需要时间,显存容量则限制能保留多少状态。GPU 利用率或一项显存数字无法单独确定是哪一类限制;需要结合执行区间与各类驻留观察。硬件直觉可回补 Part 01 · 03:GPU 架构与显存。

资源对象保留到什么时候随请求变化的部分
模型权重通常随模型实例持续驻留请求增多通常不要求为每条请求复制完整权重
KV 状态后续生成仍需读取时保留,终止后按引用与缓存策略释放或复用随上下文和驻留请求数增长,可能共享兼容前缀
临时激活当前计算的后续操作仍需使用时保留随批次、词元量和计算形状变化
执行工作区由执行后端申请并可能重复使用随内核与执行路径变化,不等同于某条请求独占的状态

最后一个词元之后,请求可能尚未结束 ​

构造一条使用同一时钟的记录:请求在 0 ms 到达,12 ms 获得准入,15 ms 输入就绪,首个词元在 45 ms 返回,其余三个词元在 55、65、75 ms 返回,80 ms 收到终止信号。首词元延迟为 45 ms,包含排队、输入准备、预填充和首次返回;三个后续间隔均为 10 ms,首末词元跨度是 30 ms。最后词元后的 5 ms 仍属于等待请求结束的时间,因此端到端延迟是 80 ms。这些数值用于解释边界,不是实测结果。

令 ta 为到达时间, t1、 tn 为首个、最后一个输出词元的接收时间, te 为正常或异常终止时间, n 为输出词元数。时间使用同一时钟与单位;已产生输出且记录完整时,客户端指标为:

TTFT=t1−ta,E2E=te−ta,TPOT=tn−t1n−1(n>1).

在上述例子中,平均每输出词元时间(TPOT)为 (75−45)/(4−1)=10 ms。若改用终止时刻计算,则得到 (80−45)/3≈11.7 ms,额外计入了结束尾部。只输出一个词元时没有后续间隔,TPOT 记为不适用;首次输出前取消的请求仍有终止时间,可以计算 E2E,但没有 TTFT 或 TPOT,不能将缺失值补为零。

下图把同一记录中的首词元、后续三个间隔与结束尾部分开。三个客户端指标使用同一时钟,但截取的区间不同。

同一请求时间线上TTFT、TPOT与E2E的区间及结束尾部

真实流式接口可能把多个词元放入一个内容块。此时直接记录的是首末内容时刻,即使后端给出准确词元总数,用内容跨度计算的也只是平均间隔代理。平均值还可能掩盖中途的一次较长停顿,需要同时查看逐词元或逐内容块间隔。传输和缓冲会改变内容到达时间,单凭客户端记录无法分离 GPU 计算耗时;预填充的设备时间需要另看后端事件。

单条延迟与整批吞吐使用不同样本 ​

延迟描述一条请求,吞吐描述一个观测窗口内完成了多少工作。例如,两条请求都成功完成,共输出 60 个词元,从开始发送到两条请求都终止经过 2 秒,成功请求吞吐为 1 请求/秒(requests/s),输出吞吐为 30 词元/秒(tokens/s)。两项指标使用同一窗口,却计算不同的工作量;输入吞吐也要与输出吞吐分别标明。这个窗口包含排队、传输和结束尾部,将各请求的生成速率取平均,不能替代整批输出吞吐。

失败记录也会影响解释:请求在首次输出前取消时,仍进入终止状态与完成率计数,却不能进入 TTFT 样本。统计 P95(95% 分位数)等指标时,应说明使用正常完成请求还是所有已产生首词元的请求,并保留失败数与样本数。峰值显存则是资源观测,还要区分服务进程占用和包含其他进程的设备总占用。

观察时间或资源范围需要一起查看
TTFT从到达到首个词元返回排队、输入长度、预填充与返回
TPOT首词元之后的平均间隔上下文、活跃批次、调度与传输
E2E从到达到正常或异常终止末次内容、结束尾部与终止状态
吞吐一个明确观测窗口内的完成请求或有效输出到达率、并发、失败与实际输出长度
P50/P95/P99同一种请求指标的分位数样本数、请求类型与统计窗口
峰值显存权重、激活、KV 与工作区的最高驻留并发、长度、执行路径与其他进程

从指标读出一次改动是否更快 ​

比较前先确定要改善哪段时间:交互请求可能关注首词元等待,长回答可能关注后续生成间隔,离线批任务则可能关注固定窗口内的有效产出。延迟越低越好,吞吐越高越好,因此两类比值的方向不同。对同一种延迟指标和同一统计样本,延迟加速比为“基线耗时 ÷ 候选耗时”;吞吐提升倍数为“候选吞吐 ÷ 基线吞吐”。分母必须大于零,缺失指标保持不适用,不能补成零来计算收益。

例如,一组构造的配对结果中,首词元延迟 P95 从 200 ms 降至 160 ms,加速比为 1.25,延迟下降 20%;若相同负载与统计窗口口径下,输出吞吐从 100 增至 120 词元/秒,则吞吐提高 20%,提升倍数为 1.2。两者回答不同问题,也不保证同时改善。比较 P95 时使用两组样本各自的 P95;先逐请求求比值再取 P95,会得到另一种统计量。

这些比值只有放回工作量与质量条件才有意义。候选若提前截断回答,或者更多请求失败,就可能因少做工作而显得更快;需要一起检查实际输出长度、停止原因、失败与任务质量。显存下降属于资源收益,可以支持更长上下文或更多驻留请求;能否进一步改善吞吐和等待,需要在相应负载下另做比较。一次改动因而要同时说明节省了什么、增加了什么成本,以及它在哪种请求条件下满足目标。

同一模型也会形成不同负载 ​

固定负载的单并发测量让请求依次执行,便于先观察输入处理、生成与结束的时间记录,减少同时在途请求之间的竞争。测量完整后,再用多请求对照观察等待和批次变化,才容易区分基础执行成本与竞争带来的额外时间。记录完整、指标可复算说明这份基线可以用于比较;是否满足 SLO,还要另与目标门槛核对。

将示例的输入加长,首词元之前的处理量与初始 KV 通常随之增加;将输出加长,则增加解码轮次,让缓存保留更久。若多个请求短时间内同时到达,即使单条输入不变,也可能因资源竞争排队。重复前缀则提供缓存复用机会,但能否跳过已有计算取决于后端的复用能力与本次命中情况。相同平均长度无法描述这些差异。

强制固定生成长度可以隔离工作量,但不能同时声称验证了自然停止行为;允许自然终止时,则保留实际输出长度和停止原因来解释吞吐。基线与候选共用哪些条件、怎样记录配置差异,见配对比较方法。

模型结构也属于比较条件:分组查询注意力(GQA)减少多个查询头所需的 KV 头数,混合专家(MoE)根据路由选择本轮执行的专家。参数量相同的模型,每轮实际计算量与缓存需求仍可能不同。

服务目标决定哪些改动值得采用 ​

服务等级目标(SLO)把使用体验或可靠性要求写成可测门槛。它需要同时说明目标负载、观察窗口、指标和阈值。例如,一个构造目标可以是:在约定的一组请求流与统计窗口下,已产生内容请求的首内容延迟 P95 不超过 300 ms,并且全部请求的失败率不超过 1%。这里同时观察较慢请求的等待与全部请求的失败,避免失败记录从延迟样本中消失后掩盖服务问题。这些阈值只用于示例。

若候选增加了整体词元吞吐,却使首内容延迟 P95 超过上述门槛,它仍未满足这个交互服务目标。离线任务可以采用不同的等待与吞吐目标,因此性能排序取决于用途。回答是否正确、格式是否合规,还需使用固定任务样本单独检查;输出非空和请求成功只能说明完成了相应执行,不能替代任务质量。记录足以复算指标,也不等于这些指标已经达到目标。

用现象选择下一项观察 ​

请求现象先区分什么直接入口
输入越长,首词元越慢排队还是层内计算模型前向
首词元后持续停顿生成推进、KV 读取还是轮次等待解码、缓存
并发增加后长尾恶化准入、组批与阶段配额服务调度
权重或状态接近容量哪一类驻留消耗主要预算缓存、低精度执行
局部或吞吐改善,整体等待或失败仍超标输入协议、瓶颈转移、SLO 与失败样本统一基准

相关阅读 ​

用事件回放检查状态与指标,再用真实客户端记录练习测量核验:

Released under the MIT License.