通信与并行公式索引
本页统一通信与并行专题反复使用的符号、单位和理想化成本模型。机制页负责解释切分语义、执行顺序和验证方法;本页用于跨页核对。
公共符号
| 符号 | 含义 | 单位 |
|---|---|---|
| 参与某进程组的进程数 | 个 | |
| 单次集合通信的有效载荷 | byte | |
| 单次启动延迟、每 byte 传输时间 | s,s/byte | |
| 计算时间、通信时间 | s | |
| 全局训练或推理步骤时间 | s | |
| 参数量 | 个 | |
| 每参数的参数、梯度、优化器状态字节数 | byte/参数 |
集合通信成本
在理想 ring、均匀链路且忽略竞争的近似下:
下面的
这些式子用于解释消息大小与进程数趋势,不替代真实拓扑、算法选择、协议和链路竞争测量。
状态分片与 ZeRO
忽略临时聚合缓冲区时,数据并行和 ZeRO 各阶段的每进程常驻训练状态可近似为
真实峰值还要加入参数 All-Gather、梯度 Reduce-Scatter、激活和通信桶。
模型内部切分
对于
若第
张量并行可从线性层的两种切分理解。令
行切分
上下文并行中,令
动态路由与热点
MoE 中
令
重叠、热点与扩展
令
前式区分“通信发生”与“通信进入关键路径”,后式说明同步步骤由最慢进程决定。
令
实际策略还需同时满足设备网格、模型可整除性、容量、拓扑和恢复条件。
使用边界
– 模型是解释工具;真实结论应记录集合通信算法、链路、拓扑域和竞争。 - 理想分片公式不包含激活、临时聚合、通信桶、碎片和运行时工作区。
- 平均时间不能替代最大进程时间;总通信时长不能替代暴露通信时间。
