Group 4.3: Distributed Training Engineering | 4.3: 分布式训练工程
本组聚焦通信原语、ZeRO 分片和 Offload 工程，实现分布式训练的性能与显存收口。
Group Overview | 组概览
本组从通信原语出发，继续推进到 ZeRO 配置、通信计算重叠和 Offload 方案，帮助读者把分布式训练链路串起来。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 09. Distributed Communication Primitives | 建立通信原语直觉 | 主线页 |
| 09.1 Ring-AllReduce Deep Dive | 深挖 Ring-AllReduce 的实现细节 | 扩展页 |
| 10. DeepSpeed ZeRO Config | 理解 ZeRO 配置与参数分片 | 主线页 |
| 11. 通信计算重叠高级调度 | 掌握通信与计算重叠调度 | 主线页 |
| 12. 异构训练：CPU Offload 与 NVMe Offload | 理解 Offload 的边界与代价 | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 09. Distributed Communication Primitives -> 09.1 Ring-AllReduce Deep Dive -> 10. DeepSpeed ZeRO Config -> 11. 通信计算重叠高级调度 -> 12. 异构训练：CPU Offload 与 NVMe Offload
Next Steps | 后续衔接
- 这组学完后，继续看 4.4，把架构视野、选型判断和成本模型收口。
Environment Notes | 环境说明
- 默认需要 GPU 环境，且更适合在 Linux + CUDA 机器上阅读和验证。
- 本组只写组级统一前提，不展开到具体节号。