Skip to content

通信与并行公式索引 ​

本页统一通信与并行专题反复使用的符号、单位和理想化成本模型。机制页负责解释切分语义、执行顺序和验证方法;本页用于跨页核对。

公共符号 ​

符号含义单位
P参与某进程组的进程数个
n单次集合通信的有效载荷byte
α,β单次启动延迟、每 byte 传输时间s,s/byte
Tcomp,Tcomm计算时间、通信时间s
Tstep全局训练或推理步骤时间s
Φ参数量个
bp,bg,bo每参数的参数、梯度、优化器状态字节数byte/参数

集合通信成本 ​

在理想 ring、均匀链路且忽略竞争的近似下:

下面的 n 采用完整逻辑张量的字节数:All-Reduce 是每个进程的输入大小,All-Gather 是拼接后的完整输出大小,Reduce-Scatter 是切分前的完整输入大小。均匀分片时,All-Gather 的每进程输入为 n/P 字节;三种公式均估算一次集合通信的时间。

TAR≈2(P−1)α+2P−1Pnβ,TAG≈(P−1)α+P−1Pnβ,TRS≈(P−1)α+P−1Pnβ.

这些式子用于解释消息大小与进程数趋势,不替代真实拓扑、算法选择、协议和链路竞争测量。

状态分片与 ZeRO ​

忽略临时聚合缓冲区时,数据并行和 ZeRO 各阶段的每进程常驻训练状态可近似为

MDP≈Φ(bp+bg+bo),MZ1≈Φ(bp+bg+boP),MZ2≈Φ(bp+bg+boP),MZ3≈Φ(bp+bg+bo)P.

真实峰值还要加入参数 All-Gather、梯度 Reduce-Scatter、激活和通信桶。

模型内部切分 ​

对于 S 个流水线 stage 和 m 个 micro-batch,理想均衡的 GPipe 气泡比例为

ρbubble≈S−1m+S−1.

若第 s 个 stage 的单个 micro-batch 时间为 ts,稳态吞吐由最慢 stage 约束:

Tclock≥maxsts.

张量并行可从线性层的两种切分理解。令 X 为输入, W 为线性层权重, P 为张量并行进程数。列切分沿输出维写成 W=[W1,…,WP]:

XW=[XW1,…,XWP],

行切分 X=[X1,…,XP]、 W=[W1T,…,WPT]T 时

XW=∑p=1PXpWp.

上下文并行中,令 p 为 K/V 分片编号, mp 为局部最大分数, ℓp 为局部指数和, op 为按局部分母归一化后的加权值; m,ℓ,o 是合并后的全局状态。局部在线 Softmax 状态可按下式合并:

m=maxpmp,ℓ=∑pemp−mℓp,o=∑pemp−mℓpopℓ.

动态路由与热点 ​

MoE 中 T 个 token、 E 个专家、Top- k 路由和容量系数 c 对应的单专家容量常写为

C=⌈ckTE⌉.

令 ne 为专家 e 接收的路由数, kT/E 为均匀路由时的平均专家负载。负载不均可用最大专家负载与平均负载之比描述:

ρimbalance=maxenekT/E.

重叠、热点与扩展 ​

令 Toverlap 为被计算区间覆盖的通信时长, Tr 为进程 r 完成该同步步骤所需的时间。若通信只有一部分能被无依赖计算覆盖,则

Texposed=max(0,Tcomm−Toverlap),Tstep≥maxrTr.

前式区分“通信发生”与“通信进入关键路径”,后式说明同步步骤由最慢进程决定。

令 PDP,PTP,PPP,PCP,PEP 分别为数据、张量、流水线、上下文和专家并行度。组合并行必须满足进程总数约束:

P=PDPPTPPPPPCPPEP,

实际策略还需同时满足设备网格、模型可整除性、容量、拓扑和恢复条件。

使用边界 ​

  • α– β 模型是解释工具;真实结论应记录集合通信算法、链路、拓扑域和竞争。
  • 理想分片公式不包含激活、临时聚合、通信桶、碎片和运行时工作区。
  • 平均时间不能替代最大进程时间;总通信时长不能替代暴露通信时间。

Released under the MIT License.