Group 1C: Distributed Communication and Memory Sharing | 1C: 多卡通信与显存共享
本组解决“一张卡不够怎么办”的问题，核心是通信拓扑、ZeRO 和并行策略选择。
Group Overview | 组概览
这一组先把“多卡为什么离不开通信”讲清楚，是 Part 2 后段和 Part 3 分布式扩展的共同前置。阅读顺序和组内资产见下表，与 1B 衔接，再按需要进入 1D。
Group Asset Overview | 组内资产总览
| 页 | 核心职责 | Q 数 | 代码块数 | 已有码的 Q | 待补代码的 Q | 定位 |
|---|---|---|---|---|---|---|
| 05 | 判断通信拓扑和显存共享关系 | 4 | 4 | Q1, Q2, Q3, Q4 | 无 | 主线页 |
| 06 | 估算显存开销与 ZeRO 收益 | 3 | 7 | Q1, Q2, Q3 | 无 | 基础节 |
| 26 | 选择合适的并行策略 | 4 | 4 | 全部 | 无 | 基础节 |
| 27 | 压缩通信调度的关键路径 | 4 | 4 | Q1, Q2, Q3, Q4 | 无 | 基础节 |
| 28 | 评估容错与 checkpoint 代价 | 4 | 4 | 全部 | 无 | 基础节 |
| 20 | 讲清 NCCL 和 AllReduce 原语 | 4 | 4 | Q1, Q2, Q3, Q4 | 无 | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 主线先看 05 和 06，把通信拓扑、显存计算和 ZeRO 的基本直觉立住；05 目前只在最关键的通信和带宽判断点配了验证代码。
- 再看 20、26、27 和 28，把通信、调度和容错的判断框架补齐，其中 20 已改成
Q结构的主线页。
Next Steps | 后续衔接
- 基础认知层：先把 05 和 06 看完，再进入 Part 2 的多卡训练、显存优化和并行策略页面，其中 05 的代码块主要负责验证并行和拓扑判断。
- 执行补充层：20、26、27 和 28 主要服务 Part 3 的分布式扩展和系统优化，其中 20 负责先把通信原语讲深。
- 如果后续要做更细的并行设计，再结合这组的通信边界与切分原则。
Environment Notes | 环境说明
- 默认按
CPU-first阅读，优先把通信与显存账本看懂。 - 这里只写组级统一前提，不点到具体节号。
- 少量页面如需多卡环境或
GPU required，以后续单页说明为准，不在组页重复展开。