Skip to content

03 · 端到端性能优化与回归交付项目 ​

项目类型:单机训练性能交付 实验环境:PERF-CUDA-MECHANISM

项目目标 ​

围绕固定的单卡训练负载,测量基线、两项优化和组合。本项目生成自己的工作负载身份与配对记录;73–76 的结果只作背景参考,不作为准入条件。

负载固定为缓存中的 Qwen2.5-0.5B-Instruct 快照 7ae557604adf67be50417f59c2c2f167def9a775、batch 1、序列长 768、FP32 参数与 BF16 计算;输入是固定种子生成的 token ID,不下载模型或数据集。每个条件以 3 个配对种子各重复一次,比较完整训练步耗时、峰值显存和损失。每次训练包含 1 步预热和 3 步计时,运行顺序按重复轮换。

条件AdamW fused激活检查点
基线关关
单项 A开关
单项 B关开
组合开开

融合版 AdamW 使用 PyTorch 的融合执行路径;激活检查点在反向传播时重算选定激活。项目比较完整训练步,组合条件单独测量。

项目单独判断每个单项和组合;最终可以选择通过门槛的单项,也可以选择通过门槛的组合。结论只适用于该模型快照、输入、硬件和软件版本。

项目阶段 ​

阶段本项目完成的工作形成的记录
工作负载与基线检查缓存模型、CUDA、BF16 与显存余量;测量基线工作负载身份、基线样本
单项与组合轮换测量两项优化及其组合;检查实际执行开关、配对损失和计时单项及组合样本、Profiler 轨迹
回归与交付CPU 环境核对样本、门槛、Profiler 来源和配置回退记录accept / tune / reject 决策与 SHA256 来源清单

运行方式 ​

  1. 使用性能机制GPU环境 llm_perf_cu128,打开 Performance_Optimization_Delivery_Project.ipynb,设置 RUN_LABEL 与 RUN_STAGE。
  2. 依次运行 contract_check、prepare、measure、close;切换阶段后从头运行单元格。prepare 检查缓存、CUDA、BF16 和显存余量,并执行小型设备探测;失败即停止。measure 才加载模型,不自动下载。
  3. close 只核对本项目记录,不运行 GPU。证据缺失或未达门槛时保留 tune;身份、配对或正确性错误时拒绝对应候选。

证据规则 ​

测量记录使用 performance-delivery-measurement/v1。每条记录包含工作负载身份、配对样本、实际执行开关、损失差异和测量值;组合记录单独采样。目标指标与守护指标固定在示例协议中,CPU 阶段会核对配对、样本数量、门槛、剖析文件和来源 SHA256;CPU 核对不产生性能结论。

73–76 的既有结果可以登记为 context_sources,用于说明候选从何而来;它们不决定本项目候选是否准入,也不与本项目收益合并。不同工作负载上的结果分别保留结论,不能跨负载相加。

回退记录说明如何重新加载固定基线并关闭优化开关,不代表执行过生产回滚。PERF-DELIVERY 可选用于不安装 CUDA 的结果复核。

预注册指标 ​

实验前的指标和门槛用于筛选候选,不预言实测收益;不同候选的数值必须来自相同输入形状和配对种子。

指标比较用途通过条件
完整训练步耗时与配对加速比判断融合版 AdamW、激活检查点及组合是否加快端到端训练候选达到协议中的最低收益比例;组合独立测量
峰值分配显存检查资源代价不超过协议中的显存增幅上限
损失差与有限值检查检查数值正确性损失差不越界且无 NaN/Inf
执行开关与剖析来源确认测到的是目标路径运行配置、轨迹和来源哈希齐全
配对样本数、波动范围判断测量稳定性达到最低重复数;样本不足或波动过大时保留 tune

accept 还要求保留可核验的回退配置;组合收益必须来自组合条件的独立测量。

Released under the MIT License.