Group 2.8: Distributed Parallel Strategy | 2.8: 分布式并行策略
本组聚焦 ZeRO、Pipeline 和 Tensor Parallelism，目标是理解大模型训练规模化的并行边界。
Group Overview | 组概览
这一组把分布式并行的核心策略讲清楚，是进入项目实战之前的并行基础层。阅读顺序和组内资产见下表，先看 27，再进入 28-29。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 27 | 估算 ZeRO 的显存分摊 | 主线页 |
| 28 | 处理 Pipeline 的 microbatch 时序 | 主线页 |
| 29 | 对比 Tensor Parallelism 的通信开销 | 主线页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Next Steps | 后续衔接
- 看完本组后，继续进入 2.9，把并行策略接到项目实战和工程闭环上。
Environment Notes | 环境说明
- 默认按
CPU-first阅读，优先把并行边界和切分代价看懂。 - 这里只写组级统一前提，不点到具体节号。
- 少数页面如需
GPU optional或多卡环境，以后续单页说明为准。