27. Communication Scheduling Optimization | 通信调度优化 (Communication Scheduling Optimization)
难度： Hard | 标签： 通信优化, Overlap, All-Reduce | 目标人群： 想把分布式训练通信和计算重叠做好的学习者
这是一篇占位页，目前只保留入口和简短说明。后续正文会在 Chapter 1 主线稳定后补充。
当前状态
- 占位中，暂不展开正文
- 先保留可点击入口，后续更新时再补内容
- Notebook 暂不展开
后续更新
- 梯度 All-Reduce 与反向传播 overlap
- 多个小通信合并为大通信
- 分组 All-Reduce 的收益
- All-to-All 的带宽优化