性能优化（Performance Optimization）
专题类型：主学习路线 能力出口：把瓶颈证据转化为候选策略、配对复测与工程决策
性能优化从已经建立的基线和瓶颈归因出发，判断应改变训练状态、推理状态、计算、通信还是 I/O 路径，并检查收益是否以质量、容量、延迟或成本退化为代价。它不按技术名称罗列开关，而是沿着“证据 → 候选 → 对照 → 瓶颈转移 → 决策”组织策略。
性能分析回答“时间和资源去了哪里”；本专题回答“应比较什么、改动后代价转移到哪里、候选是否值得保留”。具体机制仍由反向传播、推理、量化、通信与算子专题维护。
学习路线
按 Task 顺序学习时使用下表；需要沿一个性能问题连续走到决策时进入性能优化问题链，已有瓶颈或候选时使用性能优化判断手册。
下图把训练状态、推理状态、计算、通信、I/O 和最终准入放在同一张知识地图中。各专题提供机制与局部证据，性能优化负责在固定 workload 下比较候选并检查瓶颈转移。
扩展与跨专题入口
按需回补
| 已定位的问题 | 机制入口 | 回到性能优化时需要带回的证据 |
|---|---|---|
| 数据类型、理论计算量与资源上界 | Part 01 · 01 数据类型与精度 → Part 01 · 02 参数量与 FLOPs | 表示成本、理论计算量、带宽和容量上界 |
| Attention 访存与推理工作量 | Part 01 · 04 Attention 显存优化 → Part 01 · 14 FlashAttention 显存模型 | Attention 中间状态、访存量和融合收益条件 |
| 拓扑、主机—设备搬运与执行时间线 | Part 01 · 05 通信拓扑 → Part 01 · 07 CPU/GPU 异构调度 → Part 01 · 15 CUDA 执行模型 | 拓扑上界、搬运时间、启动时间和同步点 |
| 算子融合、Tensor Core 与片上存储 | Part 01 · 19 算子融合 → Part 01 · 23 Tensor Core 深入 → Part 01 · 24 SRAM 优化 | 计算内核正确性、算子时间、访存和硬件利用率 |
| 并行组合、通信调度与异构运行时 | Part 01 · 26 并行策略决策 → Part 01 · 27 通信调度优化 → Part 01 · 34 异构加速器约束 | 切分候选、同步频率、设备支持与回退条件 |
| activation、梯度或优化器状态占用 | 反向传播与训练机制 | 状态生命周期、正确性、峰值与 step 时间 |
| 请求、量化、并行与输入数据 | 推理优化、量化与压缩、通信与并行、数据工程 | 请求分布、质量与容量、通信暴露、样本长度和输入吞吐 |
旧显存优化内容已经按对象拆入训练状态、推理状态、量化和通信入口；历史链接的对应关系见旧显存路线迁移说明，不再沿旧目录继续学习。
实验与项目出口
性能优化使用同一条证据升级链：先取得性能分析证据，再验证局部机制和执行路径，最后进入真实工作负载的单项与组合复测。
| 证据阶段 | 要回答的问题 | 主要出口 |
|---|---|---|
| 归因输入 | 主瓶颈和回归阈值是否已有可复查证据？ | 性能分析 Task0–5、Part 00 · 20 |
| 局部候选 | 候选是否改变目标对象，正确性与质量是否保持？ | 各机制 Notebook 的 CPU / GPU 结果 |
| 单项准入 | 产物、执行后端、计算内核、SLO 和成本是否同时通过？ | Part 02 · 74 / 82，以及各专题项目出口 |
| 组合复测 | 多项候选组合后是否出现收益抵消、瓶颈转移或新回归？ | Part 02 · 73–76、79–81、84–86 |
| 工程决策 | 当前证据支持接受、继续调优还是回退？ | 含环境、workload、质量、资源、失败与回退条件的结论 |
CPU 适合验证公式、账本、状态关系和决策逻辑；GPU 或真实执行后端用于确认峰值显存、延迟、吞吐、通信暴露和执行路径。实验只在结果中记录本次版本和硬件快照，统一环境与环境配置（Profile）查询GPU 环境资产表。