Group 2.9: Communication and Parallelism | 2.9: 通信与并行

本组从“切分什么”和“切分后怎样通信”两个维度组织并行机制。训练状态、层、张量、序列、专家和 Serving 请求是六种并列分工对象；collective、payload、同步频率、overlap、负载不均和扩展效率组成通用通信证据链。相关机制同时服务分布式训练与分布式推理。

Group Overview | 组概览

这些机制没有统一的线性先后关系：27 解释训练状态分片，28 解释层与 stage，29 解释矩阵和 Attention 张量，PAR-CONTEXT 解释长序列切分，46 解释 MoE token 到专家的动态分发，PAR-REPLICA 解释 Serving 请求到模型副本的路由。选择任一分工方式后，都要回到 47 → 48 → 49，依次建立通信模型、定位暴露热点并比较组合策略。

并行切分维度                         通信分析与决策
├─ 27 训练状态切分：ZeRO            47 通信 Profiling
├─ 28 层切分：Pipeline Parallel       ↓
├─ 29 张量切分：Tensor Parallel      48 热点归因与缓解
├─ PAR-CONTEXT 序列切分：CP           ↓
├─ 46 专家切分：Expert Parallel       ↓
└─ PAR-REPLICA 请求分工：副本路由    49 并行组合与策略选型

Group Asset Overview | 组内资产总览

页	职责作用	推荐实现入口	定位
27	比较参数、梯度和优化器状态的复制与分片	PyTorch Distributed / Accelerate	训练状态切分页
28	比较训练与推理 Pipeline 的 stage、micro-batch 和 bubble	PyTorch Distributed	层切分页
29	比较 MLP、Attention 与 KV Head 的张量切分和 collective	PyTorch Distributed	张量切分页
PAR-CONTEXT	验证序列分片、分块 Softmax 与 Ring K/V 通信账本	PyTorch Distributed / Ring Attention	序列切分页
46	看懂 MoE 专家并行的 capacity、dispatch、combine 与 All-to-All	torch.distributed	专家切分页
47	建立 latency、bandwidth、payload、collective 与时间线证据	torch.distributed / NCCL	通信模型与观测页
PAR-REPLICA	比较 Round-Robin、Queue-Aware 与缓存/会话感知路由	vLLM / SGLang	Serving 副本路由页
48	计算暴露通信时间并比较 overlap 与缓解策略	torch.profiler / NCCL	热点归因页
49	按容量、通信和 workload 组合并行策略	PyTorch Distributed / Accelerate	组合决策页
79	比较 DDP、FSDP 与 ZeRO 的训练状态驻留、通信和扩展效率	PyTorch Distributed / Accelerate	训练状态并行项目
80	验证 MoE 容量、路由与通信	PyTorch Distributed / NCCL	EP 项目
81	比较副本路由、模型并行实例与 PD 分离等服务形态	PyTorch Distributed / vLLM	分布式推理项目
87 PAR-MODEL-INTERNAL	汇总 PP、TP、CP 与 Device Mesh 的模型内部切分证据	PyTorch Distributed / DeviceMesh	模型内部并行项目

Learning Path | 学习路径

Recommended Order | 推荐顺序

• 先按问题选择分工维度：训练状态看 27，层切分看 28，张量切分看 29，长序列切分看 PAR-CONTEXT，MoE 专家切分看 46，Serving 请求分发看 PAR-REPLICA。这些机制是按问题分流的并列入口。
• 再按 47 → 48 → 49 建立通信模型、定位热点并形成组合策略。46 只在 MoE workload 下进入，不是 47 与 48 之间的必经页。
• 项目验证按目标分流：79 比较 DDP / FSDP / ZeRO，87 PAR-MODEL-INTERNAL 比较 PP / TP / CP，80 验证 EP，81 验证分布式推理与 Serving 副本路由。四个项目没有必须依次完成的关系。

Next Steps | 后续衔接

• 看完本组后，进入 2.10，按训练并行、MoE 或分布式推理目标选择项目，不要求依次完成 79–81。
• 问题转向训练内存账本时回看 43 和 75；转向 kernel 成本与自动调优时进入算子优化 Task5。

Environment Notes | 环境说明

• CPU 机制实验用于理解切分、状态和通信量，不代表真实扩展效率。
• collective、拓扑、overlap 和多卡吞吐需要 NCCL 与至少两张可用 GPU 验证；具体条件以单页说明为准。