推理优化专题术语表
全教程写作遵循术语表与中英文写作规范。本表只解释推理语境中容易混淆的对象;代码标识符、配置键、模型名和结果 JSON 字段保留原始英文。
| 中文主称 | 英文 / 缩写 | 本专题含义 | 容易混淆之处 |
|---|---|---|---|
| 首词元延迟 | TTFT | 从请求到达到客户端接收首个输出词元的时间 | 包含排队、预填充与首次返回;不等于预填充计算时间 |
| 每输出词元时间 | TPOT | 首个输出之后,到最后一个输出的时间除以后续词元数 | 只有一个输出时不适用;客户端口径可能包含调度、传输与缓冲 |
| 端到端延迟 | E2E latency | 从请求到达到完成或失败的总时间 | 必须结合输入、输出长度和终止状态解释 |
| 服务等级目标 | SLO | 为延迟、吞吐、可用性、超时率或拒绝率设定的可测目标,必须注明指标、分位数和统计窗口 | 不是单个性能指标;也不等同于包含责任条款的对外服务等级协议(SLA) |
| 预填充 | Prefill | 处理输入词元或输入分块,并建立初始 KV 状态 | 不等同于请求到达后的全部 TTFT |
| 解码 | Decode | 基于已有状态逐轮生成后续词元 | 与“有推理能力的模型”无关 |
| 本轮词元预算 | iteration token budget | 当前迭代允许处理的预填充与解码词元总量 | 不等同静态批量或活跃请求数 |
| 执行槽位 | batch slot | 当前迭代中可容纳一个活跃请求的位置 | 有空槽位不代表 KV 或 Token 预算足够 |
| 迭代边界 | iteration boundary | 一轮前向结束后释放终止请求、接纳新请求并更新批次的时点 | 不等同请求级优先级排序 |
| 连续批处理 | continuous batching | 在迭代边界移出完成请求并接纳新请求 | 请求优先级由请求级调度决定,批次成员由迭代级调度决定 |
| KV 生命周期 | KV lifecycle | KV 物理块的分配、追加、共享、引用、驱逐和回收 | 与请求公平性和优先级是不同问题 |
| 前缀缓存 | prefix cache | 复用相同前缀已计算的 KV 状态 | 命中率不能仅由 TTFT 变化反推 |
| 预填充—解码分离 | PD disaggregation | 将 Prefill 与 Decode 放到不同执行资源或服务层 | 分离后仍需处理 KV 交接和排队 |
| 暴露传输时间 | exposed transfer time | 无法被计算或准备工作隐藏的传输时间 | 传输总时间下降不代表暴露时间必然下降 |
| 执行分派 | backend dispatch | 根据能力门槛选择 eager、compile 或专用后端路径 | API 可调用不证明命中目标 Kernel |
| 回退 | fallback | 候选路径不满足能力或稳定性条件时使用保守路径 | 回退必须记录原因,不能静默并入候选结果 |
| 模型产物 | model artifact | 权重、配置、分词器、量化元数据和文件哈希组成的可加载交付物 | 量化算法名称不等于可被目标后端加载的产物格式 |
| 加载器 | loader | 将模型产物解析为目标执行后端可运行状态的组件 | 成功加载不证明目标低精度计算内核已经执行 |
| 计算内核路径 | kernel path | 请求实际经过的浮点、低精度或融合计算实现 | 配置中的目标数据类型不等于运行时真实路径 |
| 草稿模型 | draft / assistant model | 在目标模型验证前生成候选 Token 的轻量模型或附加模块 | 草稿输出不能绕过目标模型验证直接提交 |
| 目标模型 | target / verifier model | 验证草稿候选并决定接受、拒绝与修正的主模型 | 与奖励模型或评测模型不是同一角色 |
| 连续接受长度 | accepted prefix length | 从候选首位开始连续通过目标验证的 Token 数 | 后部命中不能跨过前部拒绝位置 |
| 候选预算 | proposal budget / speculation lookahead | 每轮允许草稿器提出并送入验证的最大候选数 | 越大不一定越快,还会增加草稿与修正成本 |
| 拒绝修正分布 | residual distribution | 标准随机投机采样在拒绝位置使用的归一化正残差分布,质量来自目标概率减草稿概率的正部分 | 不能直接替换为目标分布重采样;贪心验证另用确定性规则 |
| 追加词元 | bonus token | 整段草稿全部接受后,从接受前缀后的目标分布生成的额外词元 | 与拒绝位置的修正词元属于不同分支 |
| 有效推进量 | effective tokens per verification round | 最终提交词元总数除以目标验证轮数 | 包含实际提交的修正或追加词元;不等于候选数量或接受率 |
| 专家分配 | token-to-expert assignment | 一个词元进入一个选中专家的一次计算;每词元选择 K 个专家时,共有 T×K 次分配 | 分配数不等于原始词元数,也不等于活跃专家数 |
| 专家分组执行 | expert-batched execution | 把同专家的分配排列成行批次,完成计算后按原词元位置加权合并 | 按专家调用矩阵乘法不自动代表使用专用 grouped GEMM 内核 |
| 加权恢复 | weighted combine | 把各专家输出乘对应路由权重,再累加到原词元位置 | 多路输出需要相加;仅恢复排序或覆盖写入会丢失贡献 |
| 专家负载偏斜 | expert load imbalance | 专家接收的分配数不均;可用最大负载与全体专家平均负载之比描述 | 该比值不是延迟预测;单卡矩阵效率与多卡最慢执行者还需分别测量 |
| 逻辑填充 | logical padding | 在假定行块宽下,为专家批次补齐的额外行数;有效行比例另以有效行数除以填充后的总行数 | 是块宽模型中的账本,不证明实际内核采用相同填充 |
| 模型路由 | model routing | 模型路由器决定每个词元的专家编号与权重 | 与服务端选择请求、批次或副本不同,性能优化不能随意改变其语义 |
| 专家放置 | expert placement | 将专家参数分配到执行设备或专家副本 | 改变执行位置,不应改变词元原先选择的专家身份与加权语义 |
| 单项机制归因 | controlled mechanism comparison | 保持其余条件一致,比较一个明确机制变化 | 用于解释该变化;量化或后端本身是变量时不强制两侧相同 |
| 组合方案比较 | configuration comparison | 预先声明多项配置差异,用共同请求与质量协议比较整体表现 | 不能把组合收益拆分成某个单项机制的收益 |
| 启动与稳态 | startup / steady state | 启动包含当前调用触发的加载、编译等准备;稳态比较准备后的重复执行 | 缓存实验仍需声明冷请求和热请求,预热不能替代本应测量的状态建立 |
首次出现使用“中文主称(English)”,后续使用中文主称或表中通用缩写。普通叙述优先使用“工作负载、执行后端、候选、回退”;模型名、API、配置键和 JSON 字段保持原文。
