05 计算、通信与 I/O 瓶颈

本节定位

把性能损失拆分为计算、内存访问、CPU-GPU 搬运、设备间通信、数据加载和 I/O，避免把所有问题都归因于 GPU 算力。

内容安排

1. 计算与访存：FLOPs、算术强度、Roofline 和 kernel 时间。
2. 搬运与 I/O：H2D/D2H、数据管道、缓存和存储等待。
3. 通信：AllReduce、AllGather、All-to-All、拓扑和同步。
4. 重叠：计算、通信、搬运和调度是否真正位于关键路径。
5. 归因验证：用阶段时间、带宽、等待和扩展效率交叉检查。

主要产出

一份带关键路径判断的计算、通信和 I/O 瓶颈归因报告。