性能优化公式索引与符号约定
本页汇总性能分析中反复使用的测量、时间、驻留、资源参考与回归公式。先核对测量范围、单位和成立条件,再沿表中入口阅读机制解释;具体采集过程与推导保留在正文和机制练习中。术语含义见术语表,正式结果与原始产物见实验资产表。
共用符号与单位
同一公式中的时间必须来自可比较的时钟和测量范围。硬件理论上界、经验参考与实际观测分别记录;基线和候选只在预先声明的实验变量上不同。
| 符号 | 含义 | 单位或范围 |
|---|---|---|
| 明确测量范围内的总耗时 | 秒;由毫秒换算时除以 1000 | |
| 测量窗口内完成的工作数量 | 样本、请求或词元,必须指定一种 | |
| 同一范围的基线与候选耗时 | 使用相同时间单位和统计方法 | |
| 事件 | ||
| 事件 | ||
| 存储 | byte; | |
| 同一时刻分配器的活跃分配量与保留量 | byte;对应 allocated 与 reserved | |
| 所选计算范围的浮点运算次数与指定存储层级读写字节数 | FLOP、byte; | |
| 匹配精度、计算路径和存储层级的理论吞吐与带宽上界 | FLOP/s、byte/s | |
| 由指定微基准测得的参考吞吐与参考带宽 | FLOP/s、byte/s;不是严格上界 | |
| 有效配对样本数 | 正整数;不包含失败配对 | |
| 最大允许相对延迟退化、要求的最小相对延迟降幅 |
测量窗口、吞吐与延迟
吞吐的工作数量和时间窗口要一起定义;比较延迟时,加速比与延迟降幅使用不同分母。请求级指标还要区分首个词元、末个词元与请求完成时刻。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 窗口吞吐 | 单位为指定工作单位每秒;排队是否计入、失败与未完成数量另行记录 | 03 时间窗口汇总 | |
| 加速比 | 03 时间窗口汇总 | ||
| 相对延迟降幅 | 06 配对比较 | ||
| 首词元延迟 | 03 场景与阶段 | ||
| 平均单输出词元间隔 | 03 场景与阶段 | ||
| 端到端延迟 | 01 测量问题 |
时间重叠与关键路径
事件持续时间之和会重复统计重叠区间;区间并集只描述活动覆盖时间。完成时间还取决于依赖、资源顺序和等待是否完整记录。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 活动覆盖时间 | len 表示区间并集的总长度;活动之间的空洞不计入,嵌套的主机与设备事件分层分析 | 03 重叠区间 | |
| 依赖时间下界 | Part 02 · PERF-TRACE | ||
| 完成时间重建 | 仅当所需启动、等待、资源串行等约束均已表达且持续时间准确时成立;缺少依赖不能据此宣称重建成功 | 03 依赖与观测 |
对象驻留与显存峰值
先给独立存储确定创建与释放区间,再计算同一时刻的总量。共享存储的视图只计一次;张量账本、分配器统计和整个设备占用属于不同测量范围。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 驻留量 | 04 驻留区间 | ||
| 驻留峰值 | 峰值可持续一段时间;不是各对象在不同时刻的独立峰值之和 | Part 02 · PERF-MEMORY-TIMELINE | |
| 同时刻保留差值 | 表示分配器持有而未被活跃分配使用的空间;不等于碎片量,也不等于 | 04 分配器观测 |
算术强度与资源参考
先选定算子、精度和存储层级,再比较计算与搬运。理论 Roofline 是理想上界模型;微基准测得的参考值用于定位差距,不能作为不可超越的硬件极限。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 算术强度 | 单位 FLOP/byte;最低搬运量估计与实际测量流量分别标明 | 05 算术强度 | |
| 理想吞吐上界 | Part 02 · PERF-ROOFLINE | ||
| 理想耗时下界 | 启动、同步、排队和不能重叠的阶段会使实际耗时更长;局部下界不直接解释端到端瓶颈 | 05 算术强度 | |
| 理论机器平衡点 | 单位 FLOP/byte;在理想模型中区分计算侧与带宽侧约束 | 性能分析术语表 | |
| 相对经验参考 | 05 经验参考 |
通信与独立计算的重叠
通信已经就绪、与独立计算同时开始,且两者均需在下一消费点之前完成时,可以估计该消费点多等了多久。复杂依赖、发起延迟和资源争用仍要通过实际时间线检查。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 简化暴露等待 | 05 通信重叠 |
配对回归、收益与失败分母
延迟类指标越小越好。每对样本先计算候选相对基线的比值,再按完整样本对估计区间;失败配对不进入正常延迟样本,但失败运行必须保留在各自的失败率分母中。
| 对象 | 规范表达 | 条件与解释 | 机制入口 |
|---|---|---|---|
| 配对比值 | 06 配对比值 | ||
| 区间估计 | 记录样本数、置信水平和重采样方法;样本相关时采用匹配的分块方案,不把区间当作单次观测范围 | Part 02 · PERF-REGRESSION | |
| 延迟回归通过 | 以质量、失败率和最小配对数通过检查为前提;通过回归检查仍可能略慢于基线 | 06 回归门槛 | |
| 明确延迟退化 | 延迟退化超过预先允许的范围 | 06 回归门槛 | |
| 回归结论待定 | 区间跨越门槛,补充配对样本或控制噪声 | 06 回归门槛 | |
| 达到最小延迟收益 | 在固定工作负载和置信方法下支持要求的改善;节省显存等其他目标另设收益与时间代价门槛 | 06 收益与回归的区别 | |
| 失败率 | 06 配对与失败记录 |
需要其他公式时查哪里
损失、通信算法、量化误差与成本模型各有对应的机制解释。完成测量和回归判断后,再按实际问题选择入口。
| 需要解释的对象 | 继续阅读 |
|---|---|
| 梯度、有效更新、训练状态与重算搬运 | 反向传播与训练机制公式索引 |
| 集合通信、状态切分与扩展效率 | 通信与并行 |
| 量化缩放、校准误差与低比特执行 | 量化与压缩 |
| 候选资源取舍、组合收益与成本判断 | 性能优化 |
