Skip to content

推理优化判断手册 ​

先声明本轮改变的是单项机制还是配置组合,再固定其余请求、生成和测量条件。记录模型与分词器、输入、到达方式、实际输出长度、停止原因、失败和运行环境;根据现象补充阶段时间、资源与执行路径,组合收益不拆分归因。

从首个检查动作区分计算、状态和等待,再选择机制练习或真实实验。普通解码没有草稿时,不要求接受率;MoE 负载账本也不直接替代 GPU 时间。

现象或目标先检查什么最小证据机制入口验证或转交入口
长输入下首词元明显变慢对照排队、预填充与首次返回时间,区分请求等待和层内计算到达/接纳事件、输入长度、阶段时间、层内轨迹01 请求指标、02 模型前向计算路径选 INF-EXECUTION-DISPATCH;真实请求基线选 Part 02 · 66
普通解码每词元等待较长分开本轮前向时间、KV 读取与两轮之间的等待上下文长度、活跃批次、层内时间与客户端间隔02 计算执行、05 服务调度INF-ITERATION-BUDGET 单卡成本实验;服务等待进入 Part 02 · 70
投机接受率高,但完整生成没有加速比较每轮提交词元数与草稿、验证、修正的总成本连续接受长度、有效推进量、阶段耗时、实际输出长度与质量03 解码策略INF-PROPOSAL 机制实验;Part 02 · 68 后端复测
投机生成的确定性结果或采样行为异常先核对贪心/随机规则,再检查接受前缀、拒绝残差与全部接受后的追加分支同一上下文下的目标/草稿概率、首拒绝位置、修正与停止状态03 解码策略Part 02 · 23 CPU 状态与数值练习;随机采样不要求逐次文本完全相同
MoE 分组后输出与参考不一致对照排序前后的词元、专家与权重对应关系,再核对重复词元的累加分配三元关系、专家区间、加权输出和误差02 专家执行INF-MOE-EXECUTION CPU 分组与恢复测试
MoE 激活专家较少,但完整调用仍慢分开重排、专家计算和合并;观察各专家矩阵行数与实际调用活跃专家、分配数、路径事件、完整调用时间、计划构造成本02 模型前向INF-MOE-EXECUTION 单卡实验入口;实测状态见资产表
并发增加后 TPOT 或尾延迟上升对照请求到达、准入等待和迭代组成,区分过载与单步变慢到达事件、队列、每轮词元、阶段配额、超时与吞吐05 服务预算与调度连续批处理 机制实验;Part 02 · 70 服务复测
长输入加入后,已有解码请求出现停顿对照整段与分块预填充时的迭代长度、长请求等待与解码间隔同一到达流、预填充块、短请求 TTFT、生成间隔、吞吐05 阶段调度Part 02 · 38 配对实验
KV 持续增长,上下文或并发无法再增加比较逻辑状态增长、物理页占用与结束请求回收缓存长度、KV 头数、块表、引用、抢占与 OOM 位置04 KV 生命周期Part 02 · 37 容量与状态实验
重复前缀很多,但 TTFT 没有下降先确认可复用的连续前缀与实际命中,再比较未命中后缀成本模型与状态身份、命中词元、缓存占用和阶段时间04 前缀复用Part 02 · 69 真实服务缓存实验
文件可以加载,但低精度收益不稳定对照产物格式、实际数据类型和内核,检查回退与转换产物身份、加载日志、轨迹、延迟、峰值与质量06 量化部署Part 02 · 82 产物检查;Part 02 · 83 服务复测
显存降低,但延迟或回答质量退化对照量化对象、实际长度、停止与有效输出,不只看文件大小相同任务集、TTFT、TPOT、资源、格式与完整性06 低精度执行量化与压缩、07 比较方法
单卡不满足容量或吞吐先区分请求容量与模型/单请求状态容量,再选择副本或内部切分单实例基线、请求负载、状态容量与拓扑条件08 分布式推理通信与并行、Part 02 · 81
多卡 MoE 的最慢参与者拖慢迭代对照专家放置、各设备负载与实际跨卡交换,而非只看平均负载每专家/每设备分配、通信字节、暴露等待与最慢设备时间08 专家并行Part 02 · 46 机制练习;Part 02 · 80 并行项目
重复运行的收益方向不稳定对照测量顺序、缓存状态、输入差异和设备负载各轮原始样本、正反顺序、失败与启动/稳态划分07 基准与决策配对与回归分析方法、性能优化

Released under the MIT License.