Skip to content

推理优化专题术语表 ​

全教程写作遵循术语表与中英文写作规范。本表只解释推理语境中容易混淆的对象;代码标识符、配置键、模型名和结果 JSON 字段保留原始英文。

中文主称英文 / 缩写本专题含义容易混淆之处
首词元延迟TTFT从请求到达到客户端接收首个输出词元的时间包含排队、预填充与首次返回;不等于预填充计算时间
每输出词元时间TPOT首个输出之后,到最后一个输出的时间除以后续词元数只有一个输出时不适用;客户端口径可能包含调度、传输与缓冲
端到端延迟E2E latency从请求到达到完成或失败的总时间必须结合输入、输出长度和终止状态解释
服务等级目标SLO为延迟、吞吐、可用性、超时率或拒绝率设定的可测目标,必须注明指标、分位数和统计窗口不是单个性能指标;也不等同于包含责任条款的对外服务等级协议(SLA)
预填充Prefill处理输入词元或输入分块,并建立初始 KV 状态不等同于请求到达后的全部 TTFT
解码Decode基于已有状态逐轮生成后续词元与“有推理能力的模型”无关
本轮词元预算iteration token budget当前迭代允许处理的预填充与解码词元总量不等同静态批量或活跃请求数
执行槽位batch slot当前迭代中可容纳一个活跃请求的位置有空槽位不代表 KV 或 Token 预算足够
迭代边界iteration boundary一轮前向结束后释放终止请求、接纳新请求并更新批次的时点不等同请求级优先级排序
连续批处理continuous batching在迭代边界移出完成请求并接纳新请求请求优先级由请求级调度决定,批次成员由迭代级调度决定
KV 生命周期KV lifecycleKV 物理块的分配、追加、共享、引用、驱逐和回收与请求公平性和优先级是不同问题
前缀缓存prefix cache复用相同前缀已计算的 KV 状态命中率不能仅由 TTFT 变化反推
预填充—解码分离PD disaggregation将 Prefill 与 Decode 放到不同执行资源或服务层分离后仍需处理 KV 交接和排队
暴露传输时间exposed transfer time无法被计算或准备工作隐藏的传输时间传输总时间下降不代表暴露时间必然下降
执行分派backend dispatch根据能力门槛选择 eager、compile 或专用后端路径API 可调用不证明命中目标 Kernel
回退fallback候选路径不满足能力或稳定性条件时使用保守路径回退必须记录原因,不能静默并入候选结果
模型产物model artifact权重、配置、分词器、量化元数据和文件哈希组成的可加载交付物量化算法名称不等于可被目标后端加载的产物格式
加载器loader将模型产物解析为目标执行后端可运行状态的组件成功加载不证明目标低精度计算内核已经执行
计算内核路径kernel path请求实际经过的浮点、低精度或融合计算实现配置中的目标数据类型不等于运行时真实路径
草稿模型draft / assistant model在目标模型验证前生成候选 Token 的轻量模型或附加模块草稿输出不能绕过目标模型验证直接提交
目标模型target / verifier model验证草稿候选并决定接受、拒绝与修正的主模型与奖励模型或评测模型不是同一角色
连续接受长度accepted prefix length从候选首位开始连续通过目标验证的 Token 数后部命中不能跨过前部拒绝位置
候选预算proposal budget / speculation lookahead每轮允许草稿器提出并送入验证的最大候选数越大不一定越快,还会增加草稿与修正成本
拒绝修正分布residual distribution标准随机投机采样在拒绝位置使用的归一化正残差分布,质量来自目标概率减草稿概率的正部分不能直接替换为目标分布重采样;贪心验证另用确定性规则
追加词元bonus token整段草稿全部接受后,从接受前缀后的目标分布生成的额外词元与拒绝位置的修正词元属于不同分支
有效推进量effective tokens per verification round最终提交词元总数除以目标验证轮数包含实际提交的修正或追加词元;不等于候选数量或接受率
专家分配token-to-expert assignment一个词元进入一个选中专家的一次计算;每词元选择 K 个专家时,共有 T×K 次分配分配数不等于原始词元数,也不等于活跃专家数
专家分组执行expert-batched execution把同专家的分配排列成行批次,完成计算后按原词元位置加权合并按专家调用矩阵乘法不自动代表使用专用 grouped GEMM 内核
加权恢复weighted combine把各专家输出乘对应路由权重,再累加到原词元位置多路输出需要相加;仅恢复排序或覆盖写入会丢失贡献
专家负载偏斜expert load imbalance专家接收的分配数不均;可用最大负载与全体专家平均负载之比描述该比值不是延迟预测;单卡矩阵效率与多卡最慢执行者还需分别测量
逻辑填充logical padding在假定行块宽下,为专家批次补齐的额外行数;有效行比例另以有效行数除以填充后的总行数是块宽模型中的账本,不证明实际内核采用相同填充
模型路由model routing模型路由器决定每个词元的专家编号与权重与服务端选择请求、批次或副本不同,性能优化不能随意改变其语义
专家放置expert placement将专家参数分配到执行设备或专家副本改变执行位置,不应改变词元原先选择的专家身份与加权语义
单项机制归因controlled mechanism comparison保持其余条件一致,比较一个明确机制变化用于解释该变化;量化或后端本身是变量时不强制两侧相同
组合方案比较configuration comparison预先声明多项配置差异,用共同请求与质量协议比较整体表现不能把组合收益拆分成某个单项机制的收益
启动与稳态startup / steady state启动包含当前调用触发的加载、编译等准备;稳态比较准备后的重复执行缓存实验仍需声明冷请求和热请求,预热不能替代本应测量的状态建立

首次出现使用“中文主称(English)”,后续使用中文主称或表中通用缩写。普通叙述优先使用“工作负载、执行后端、候选、回退”;模型名、API、配置键和 JSON 字段保持原文。

Released under the MIT License.