Skip to content

Group 1C: Communication, Parallelism and Fault Tolerance | 1C: 通信、并行与容错 ​

本组解释多设备切分带来的容量收益、通信代价和恢复要求。

Group Goal | 学习目标 ​

这一组回答三个问题:切分什么状态或计算,每一步发送哪些数据,中断前后需要保存和核对什么。先回看01/02的规模账本和03的设备资源即可进入;通信与容量两路信息汇合后筛选候选,再按问题比较调度等待或保存恢复成本。

1C 通信、并行与容错路线

Learning Entries | 学习入口 ​

小节核心职责学习角色
05识别切分对象、通信原语和拓扑域通信分类入口
20展开 All-Reduce 的数据流与理论代价集合通信机制
06估算显存开销与 ZeRO 收益训练状态分片账本
26按训练状态、模型、上下文、专家和请求筛选并行策略并行候选入口
27比较分桶就绪、发送载荷与通信尾部等待通信重叠入口
28比较保存间隔成本,核对状态角色与分片清单恢复准备入口

Inputs and Follow-up Paths | 两路输入与后续分支 ​

CPU例子用同一份状态、梯度或清单核对变化;多卡通信时间与加载恢复结果,再由对应实际实验验证。

路径阅读顺序交付对象首先进入的专题
通信条件05 通信拓扑 → 20 NCCL 与 AllReduce链路、集合通信语义、通信量与理论时间通信与并行
容量条件06 显存计算与 ZeRO参数、梯度、Adam动量与可选主权重的复制/分片账本反向传播与训练机制、通信与并行
候选汇合两路输入 → 26 并行策略决策容量、任务、结构与允许放置域的筛选结果,以及独立轴假设通信与并行;MoE/EP同时进入大模型架构演进
通信分支26 → 27 通信调度每rank发送量、就绪顺序与反向结束后的通信等待性能优化·测量与诊断方法 → 性能优化
恢复分支26 → 28 容错与检查点状态角色、间隔成本与分片元数据;加载后还需核对下一次更新通信与并行、后训练优化

Released under the MIT License.