Skip to content

性能优化判断手册 ​

使用本表前,固定模型与数据版本、运行环境、输入分布、批量或并发、预热与重复规则,以及正确性、质量和服务等级目标(SLO)。SLO说明要求达到的请求时限或成功率;延迟退化允许多少,也要预先约定。保留本次配置、逐次样本、阶段指标、失败状态和实际执行路径。

按现象找到首个检查对象,再收集表中的最小记录。原因不清时补测,已确认原因时选择改动;完成单项对照后再决定是否需要组合。

现象或目标先检查什么最小证据机制入口验证或转交入口
候选看起来更快基线与候选是否只改变一个变量,质量是否通过要求配对重复样本、区间、失败率与质量记录正文 06:基准设计与回归验证性能优化 · 06 单候选准入
已完成归因,需要决定下一步证据是否支持保留、继续调参或回退假设、证据位置、适用工作负载与回归结果正文 07:从归因到行动性能优化专题入口
训练单步时间变长输入、前向、反向、参数更新和同步阶段同一工作负载的阶段时间、执行轨迹、取批等待和失败记录03 训练输入、状态与资源账本归因不清时进入测量与诊断方法;候选完成后进入06 单候选准入
参数更新阶段占时明显参数张量数量与大小、实际优化器实现及临时分配更新阶段与完整训练步时间、参数误差、峰值显存03 训练输入、状态与资源账本Part 02 · 75 AdamW执行路径比较更新规则不变的实现,再返回完整训练步判断
峰值显存升高峰值时仍驻留的参数、激活、梯度、优化器状态、KV、工作区和通信缓冲区对象大小、创建/释放时刻、已分配/保留显存和 OOM 阶段03 训练资源账本或04 推理状态容量使用 PERF-MEMORY-TIMELINE重建峰值
有效批量不变但峰值或单步时间改变微批量、梯度累积、保存激活和更新次数微批量、累积步数、有效词元数、峰值及完成一次更新的总时间03 训练输入、状态与资源账本转入训练机制核对更新语义,再回到06 单候选准入
DPO / GRPO 训练慢但 GPU 未持续繁忙多模型驻留、响应长度、轨迹生成、奖励/验证和更新比例采样/验证/更新时间、有效样本率、峰值和质量03 训练资源账本与05 关键路径算法语义转入后训练优化,系统候选进入06 单候选准入
理论账本与 GPU 实测差距很大分配器保留、工作区、碎片、通信缓冲区和生命周期重叠理论字节、已分配/保留峰值、对象时间线03 训练资源账本或04 推理状态容量使用测量与诊断方法取得运行时内存证据
模型加载、转换或首请求很慢产物读取、反序列化、格式转换、首次 H2D、编译和预热冷启动分段时间、产物版本与格式、I/O 字节和稳态对照05 计算、通信与 I/O在目标加载路径分段测量;PERF-IO提供局部测量方法,真实首请求仍需目标后端复测
GPU 利用率低CPU 等待、输入 I/O、同步、通信和计算空洞CPU/GPU 时间线、取批等待、暴露通信和内核间隙05 计算、通信与 I/O使用 PERF-TRACE确认前驱关系
已确认单个算子的计算或访存限制输入形状、数据类型、实际内核、启动次数和读写量正确性、局部计时、模型阶段占比及资源参考02 资源约束与候选代价转入算子优化比较实现,再回到目标模型工作负载复测
性能剖析中的耗时明显变差采集范围、同步点、采集开销和独立复测无采集与有采集的配对结果、采集配置和原始样本测量与诊断方法使用 PERF-REGRESSION判断差异是否超过波动
吞吐提高但延迟变差批量、队列、并发、TTFT、TPOT 和 P99固定请求分布下的吞吐、阶段延迟、队列和峰值04 推理状态容量调度机制转入推理优化,候选进入06 单候选准入
KV 交接或网络等待拉长传输字节、序列化、网络、资源池和消费依赖状态字节、传输总时间、暴露时间、TTFT/TPOT/P9905 计算、通信与 I/O多资源池机制转入推理优化,多卡路径转入通信与并行
轨迹生成快但有效更新吞吐低无效响应、验证器、环境失败、权重刷新和策略新鲜度原始轨迹吞吐、有效样本率、验证/刷新等待和质量05 计算、通信与 I/O转入后训练优化核对轨迹生命周期,再进入06 单候选准入
流式输出、日志或检查点拖慢尾部回压、磁盘/网络写入、CPU 编码和同步点输出队列、写入时间、P99、完整性和失败记录05 计算、通信与 I/O使用 PERF-IO验证暴露等待
量化后独立任务质量不达标量化对象、粒度、校准数据及评测数据是否独立,输出差异集中在哪类输入产物版本、浮点与量化逐样本质量、失败输入和实际精度06 单候选执行与准入转入量化与压缩定位表示误差,质量门槛通过后再判断采用
量化后质量通过但P99退化反量化与转换时间、实际内核、调度和队列是否改变相同请求负载的配对延迟、目标路径、吞吐、峰值与失败04 推理延迟、吞吐与状态容量与06 单候选执行与准入转入推理优化核对计算与调度;按预设SLO和允许退化范围判断,不以文件变小替代服务收益
扩大并发后吞吐提高原始请求清单、各方案的并发扫描与服务时限固定并发对照、可用并发上限、峰值、尾延迟、失败与拒绝04 推理状态容量将同负载收益与扩容收益分开登记;基线 OOM 的配置不计算加速比
多卡扩展不理想集合通信、拓扑、负载、计算/通信占比和重叠单卡/多卡配对时间、暴露通信、扩展效率和失败恢复05 计算、通信与 I/O转入通信与并行验证真实多卡机制
局部策略有效但组合后退化共享资源、执行顺序、重复收益和新关键路径同次实验的基线、单项与组合样本、执行轨迹和回退目标;顺序有影响时另测反向应用07 策略组合与瓶颈转移用 PERF-COMPOSITION检查边际收益,再采集依赖或资源证据判断原因

Released under the MIT License.