Skip to content

性能优化公式索引与符号约定 ​

本页汇总性能分析中反复使用的测量、时间、驻留、资源参考与回归公式。先核对测量范围、单位和成立条件,再沿表中入口阅读机制解释;具体采集过程与推导保留在正文和机制练习中。术语含义见术语表,正式结果与原始产物见实验资产表。

共用符号与单位 ​

同一公式中的时间必须来自可比较的时钟和测量范围。硬件理论上界、经验参考与实际观测分别记录;基线和候选只在预先声明的实验变量上不同。

符号含义单位或范围
T明确测量范围内的总耗时秒;由毫秒换算时除以 1000
N测量窗口内完成的工作数量样本、请求或词元,必须指定一种
Tb,Tc同一范围的基线与候选耗时使用相同时间单位和统计方法
Ii=[si,ei)事件 i 在共同时间轴上的半开区间ei≥si
di事件 i 的持续时间di=ei−si
bi,ai,fi存储 i 的字节数、分配时刻与释放时刻byte; ai≤fi
A(t),R(t)同一时刻分配器的活跃分配量与保留量byte;对应 allocated 与 reserved
F,B所选计算范围的浮点运算次数与指定存储层级读写字节数FLOP、byte; B>0
Pmax,Wmax匹配精度、计算路径和存储层级的理论吞吐与带宽上界FLOP/s、byte/s
Pref,Wref由指定微基准测得的参考吞吐与参考带宽FLOP/s、byte/s;不是严格上界
n有效配对样本数正整数;不包含失败配对
δ,ϵ最大允许相对延迟退化、要求的最小相对延迟降幅δ≥0, 0<ϵ<1

测量窗口、吞吐与延迟 ​

吞吐的工作数量和时间窗口要一起定义;比较延迟时,加速比与延迟降幅使用不同分母。请求级指标还要区分首个词元、末个词元与请求完成时刻。

对象规范表达条件与解释机制入口
窗口吞吐Q=N/T, T>0单位为指定工作单位每秒;排队是否计入、失败与未完成数量另行记录03 时间窗口汇总
加速比S=Tb/Tc, Tb,Tc>0S>1 表示候选更快;固定比较的是均值、中位数还是配对统计量03 时间窗口汇总
相对延迟降幅d=1−Tc/Tbd>0 表示延迟下降; S−1 与 d 不是同一个比例06 配对比较
首词元延迟TTFT=t1−t0t0 为请求计时起点, t1 为首个输出词元到达时刻;明确是否包含网络、排队和输入处理03 场景与阶段
平均单输出词元间隔TPOT=(tC−t1)/(C−1), C≥2C 为输出词元数, tC 为末个输出词元到达时刻;流式分块不一定与词元一一对应, C<2 时该式无定义03 场景与阶段
端到端延迟Te2e=tend−t0tend 为约定的请求完成时刻,可能晚于末个词元到达;与首词元延迟分别报告01 测量问题

时间重叠与关键路径 ​

事件持续时间之和会重复统计重叠区间;区间并集只描述活动覆盖时间。完成时间还取决于依赖、资源顺序和等待是否完整记录。

对象规范表达条件与解释机制入口
活动覆盖时间Tbusy=len(⋃iIi)≤∑idilen 表示区间并集的总长度;活动之间的空洞不计入,嵌套的主机与设备事件分层分析03 重叠区间
依赖时间下界Tdep=maxp∈P∑i∈pdi, Tobs≥TdepP 为开始到结束的依赖路径集合, p 为其中一条路径;事件图无环,时间与范围一致Part 02 · PERF-TRACE
完成时间重建Tobs=Tdep仅当所需启动、等待、资源串行等约束均已表达且持续时间准确时成立;缺少依赖不能据此宣称重建成功03 依赖与观测

对象驻留与显存峰值 ​

先给独立存储确定创建与释放区间,再计算同一时刻的总量。共享存储的视图只计一次;张量账本、分配器统计和整个设备占用属于不同测量范围。

对象规范表达条件与解释机制入口
驻留量M(t)=∑ibi1(ai≤t<fi)1 为指示函数;存储大小在各区间内固定,分配与释放事件采用一致顺序04 驻留区间
驻留峰值Mpeak=maxtM(t)峰值可持续一段时间;不是各对象在不同时刻的独立峰值之和Part 02 · PERF-MEMORY-TIMELINE
同时刻保留差值D(t)=R(t)−A(t)表示分配器持有而未被活跃分配使用的空间;不等于碎片量,也不等于 maxtR(t)−maxtA(t)04 分配器观测

算术强度与资源参考 ​

先选定算子、精度和存储层级,再比较计算与搬运。理论 Roofline 是理想上界模型;微基准测得的参考值用于定位差距,不能作为不可超越的硬件极限。

对象规范表达条件与解释机制入口
算术强度I=F/B单位 FLOP/byte;最低搬运量估计与实际测量流量分别标明05 算术强度
理想吞吐上界P≤min(Pmax,IWmax)P 为所选范围的实际计算吞吐,单位 FLOP/s;各项匹配同一计算路径与存储层级Part 02 · PERF-ROOFLINE
理想耗时下界T≥max(F/Pmax,B/Wmax)启动、同步、排队和不能重叠的阶段会使实际耗时更长;局部下界不直接解释端到端瓶颈05 算术强度
理论机器平衡点I∗=Pmax/Wmax单位 FLOP/byte;在理想模型中区分计算侧与带宽侧约束性能分析术语表
相对经验参考Pobs=F/Tkernel, ρ=Pobs/PrefTkernel>0 为匹配范围的设备计时;形状与路径不同可使 ρ>1,不登记为硬件效率超过 100%05 经验参考

通信与独立计算的重叠 ​

通信已经就绪、与独立计算同时开始,且两者均需在下一消费点之前完成时,可以估计该消费点多等了多久。复杂依赖、发起延迟和资源争用仍要通过实际时间线检查。

对象规范表达条件与解释机制入口
简化暴露等待Twait=max(0,Tcomm−Tind)Tcomm 为通信耗时, Tind 为独立计算窗口;三者单位一致。公式不自动适用于所有通信调度05 通信重叠

配对回归、收益与失败分母 ​

延迟类指标越小越好。每对样本先计算候选相对基线的比值,再按完整样本对估计区间;失败配对不进入正常延迟样本,但失败运行必须保留在各自的失败率分母中。

对象规范表达条件与解释机制入口
配对比值ri=ci/bi, r^=mediani=1,…,n(ri)bi,ci>0 为第 i 对基线、候选耗时;配对比值中位数与两组中位数之比分别报告06 配对比值
区间估计[Lr,Ur] 为 r^ 的置信区间记录样本数、置信水平和重采样方法;样本相关时采用匹配的分块方案,不把区间当作单次观测范围Part 02 · PERF-REGRESSION
延迟回归通过Ur≤1+δ以质量、失败率和最小配对数通过检查为前提;通过回归检查仍可能略慢于基线06 回归门槛
明确延迟退化Lr>1+δ延迟退化超过预先允许的范围06 回归门槛
回归结论待定Lr≤1+δ<Ur区间跨越门槛,补充配对样本或控制噪声06 回归门槛
达到最小延迟收益Ur≤1−ϵ在固定工作负载和置信方法下支持要求的改善;节省显存等其他目标另设收益与时间代价门槛06 收益与回归的区别
失败率pfail=Kfail/Kall, Kall>0Kall 为按预先定义规则计入的全部正式运行数, Kfail 为失败数;基线、候选分别统计,不删除 OOM、超时或质量失败06 配对与失败记录

需要其他公式时查哪里 ​

损失、通信算法、量化误差与成本模型各有对应的机制解释。完成测量和回归判断后,再按实际问题选择入口。

需要解释的对象继续阅读
梯度、有效更新、训练状态与重算搬运反向传播与训练机制公式索引
集合通信、状态切分与扩展效率通信与并行
量化缩放、校准误差与低比特执行量化与压缩
候选资源取舍、组合收益与成本判断性能优化

Released under the MIT License.