07. Visual Assets | 图册收口
页面目标
这一页收口通信并行专题的关键图,方便后续把通信原语、状态切分、pipeline / tensor parallel、expert parallel 和最终决策串起来。
图册职责
07 不是装饰页,而是把 01-06 的并行关系压成一组能快速回答下面问题的图:
- 我现在的问题是同步、显存、bubble,还是路由热点?
- 当前应该先看数据并行、ZeRO、Pipeline / Tensor Parallel,还是 Expert Parallel?
- 这条并行路线最终服务的是显存扩展、吞吐扩展,还是模型规模扩展?
建议图册
- 为什么系统会走向并行的总图
- 数据并行与同步图
- ZeRO / 状态切分图
- Pipeline / Tensor Parallel 对照图
- Expert Parallel 与热点图
- benchmark / keep-tune-switch 决策图
当前已落地图
00 通信与并行路线总图
这张图作为专题入口主图,说明状态切分、通信同步、拓扑执行和多卡决策之间的关系。
01 为什么系统会走向并行
图示占位:Why systems move to parallelism 尚未生成。
02 数据并行与同步
图示占位:Data parallelism and synchronization 尚未生成。
03 ZeRO / 状态切分
图示占位:State sharding and ZeRO 尚未生成。
04 Pipeline / Tensor Parallel
图示占位:Pipeline and tensor parallel 尚未生成。
05 Expert Parallel / Hotspots
图示占位:Expert parallel and communication hotspots 尚未生成。
06 Benchmark / Keep-Tune-Switch
图示占位:Parallel benchmark decision flow 尚未生成。
建议顺序
- 并行起点与约束:对应
01 - 数据并行与同步:对应
02 - 状态切分与 ZeRO:对应
03 - Pipeline / Tensor Parallel:对应
04 - Expert Parallel 与热点:对应
05 - benchmark 与决策:对应
06
图的风格约束
- 一张图只回答一个并行问题,不把所有切分方式塞进同一张图。
- 正式资产优先用
SVG。 - 图标题尽量直接说明“切的是什么、代价换到哪里去了”。
