03 · 端到端性能优化与回归交付项目
项目类型:单机训练性能交付 实验环境:
PERF-CUDA-MECHANISM
项目目标
围绕固定的单卡训练负载,测量基线、两项优化和组合。本项目生成自己的工作负载身份与配对记录;73–76 的结果只作背景参考,不作为准入条件。
负载固定为缓存中的 Qwen2.5-0.5B-Instruct 快照 7ae557604adf67be50417f59c2c2f167def9a775、batch 1、序列长 768、FP32 参数与 BF16 计算;输入是固定种子生成的 token ID,不下载模型或数据集。每个条件以 3 个配对种子各重复一次,比较完整训练步耗时、峰值显存和损失。每次训练包含 1 步预热和 3 步计时,运行顺序按重复轮换。
| 条件 | AdamW fused | 激活检查点 |
|---|---|---|
| 基线 | 关 | 关 |
| 单项 A | 开 | 关 |
| 单项 B | 关 | 开 |
| 组合 | 开 | 开 |
融合版 AdamW 使用 PyTorch 的融合执行路径;激活检查点在反向传播时重算选定激活。项目比较完整训练步,组合条件单独测量。
项目单独判断每个单项和组合;最终可以选择通过门槛的单项,也可以选择通过门槛的组合。结论只适用于该模型快照、输入、硬件和软件版本。
项目阶段
| 阶段 | 本项目完成的工作 | 形成的记录 |
|---|---|---|
| 工作负载与基线 | 检查缓存模型、CUDA、BF16 与显存余量;测量基线 | 工作负载身份、基线样本 |
| 单项与组合 | 轮换测量两项优化及其组合;检查实际执行开关、配对损失和计时 | 单项及组合样本、Profiler 轨迹 |
| 回归与交付 | CPU 环境核对样本、门槛、Profiler 来源和配置回退记录 | accept / tune / reject 决策与 SHA256 来源清单 |
运行方式
- 使用性能机制GPU环境
llm_perf_cu128,打开Performance_Optimization_Delivery_Project.ipynb,设置RUN_LABEL与RUN_STAGE。 - 依次运行
contract_check、prepare、measure、close;切换阶段后从头运行单元格。prepare检查缓存、CUDA、BF16 和显存余量,并执行小型设备探测;失败即停止。measure才加载模型,不自动下载。 close只核对本项目记录,不运行 GPU。证据缺失或未达门槛时保留tune;身份、配对或正确性错误时拒绝对应候选。
证据规则
测量记录使用 performance-delivery-measurement/v1。每条记录包含工作负载身份、配对样本、实际执行开关、损失差异和测量值;组合记录单独采样。目标指标与守护指标固定在示例协议中,CPU 阶段会核对配对、样本数量、门槛、剖析文件和来源 SHA256;CPU 核对不产生性能结论。
73–76 的既有结果可以登记为 context_sources,用于说明候选从何而来;它们不决定本项目候选是否准入,也不与本项目收益合并。不同工作负载上的结果分别保留结论,不能跨负载相加。
回退记录说明如何重新加载固定基线并关闭优化开关,不代表执行过生产回滚。PERF-DELIVERY 可选用于不安装 CUDA 的结果复核。
预注册指标
实验前的指标和门槛用于筛选候选,不预言实测收益;不同候选的数值必须来自相同输入形状和配对种子。
| 指标 | 比较用途 | 通过条件 |
|---|---|---|
| 完整训练步耗时与配对加速比 | 判断融合版 AdamW、激活检查点及组合是否加快端到端训练 | 候选达到协议中的最低收益比例;组合独立测量 |
| 峰值分配显存 | 检查资源代价 | 不超过协议中的显存增幅上限 |
| 损失差与有限值检查 | 检查数值正确性 | 损失差不越界且无 NaN/Inf |
| 执行开关与剖析来源 | 确认测到的是目标路径 | 运行配置、轨迹和来源哈希齐全 |
| 配对样本数、波动范围 | 判断测量稳定性 | 达到最低重复数;样本不足或波动过大时保留 tune |
accept 还要求保留可核验的回退配置;组合收益必须来自组合条件的独立测量。
