Skip to content

07. Benchmark and Parallel Decision | 多卡基准与并行决策 ​

学习问题 ​

多卡项目需要在固定工作负载和硬件下,判断额外复杂度是否换来了可复查的容量、速度或服务收益。采用候选前还要检查设备数、拓扑、状态恢复与失败范围。

从固定 workload 到并行策略决策

核心机制 ​

先过组合与恢复门槛 ​

单个并行机制可运行,不代表组合后仍然可行。进入多卡基准前,先检查并行度乘积、每 rank 容量、进程组拓扑和检查点恢复条件。

门槛必须固定的事实失败表现
设备与并行度DP、TP、PP、CP、EP 或 Replica 的度数与可用 rank组合需要的 rank 超过资源,或进程组布局错误
容量每 rank 常驻状态、临时聚合和峰值显存单个分片能放下,但聚合阶段溢出
拓扑高频通信组所在节点、链路和带宽TP / EP 被放到不满足要求的链路域
恢复checkpoint ID、manifest、分片覆盖和提交状态文件存在但训练状态无法一致恢复

候选筛选使用 Part 01 · 26 并行策略决策,恢复条件使用 Part 01 · 28 容错与检查点。

先固定比较契约 ​

契约必须记录的内容
工作负载模型与 revision、tokenizer、输入 manifest、长度、batch / concurrency
硬件GPU、world size、拓扑、驱动、CUDA、NCCL
策略DDP / FSDP / ZeRO / PP / TP / CP / EP / Replica 及并行度
执行通信后端、数据类型、预热、重复次数、随机种子
结果指标、产物、失败记录、evidence_level、decision

四类项目分别形成结论 ​

训练状态、模型内部切分、MoE 和分布式推理分别形成独立结论;比较时复用公共身份、硬件和证据字段,不把四类专属指标堆进同一份报告。

项目角色当前入口核心指标主要决策
训练状态并行Part 02 · 79峰值显存、单步时间、吞吐、通信、扩展效率DDP、FSDP / ZeRO 是否值得采用
模型内部并行87 PAR-MODEL-INTERNALstage/head/sequence 布局、bubble、collective、scaling efficiencyPP、TP、CP 与 Device Mesh 如何组合
MoE 并行Part 02 · 80专家负载、overflow、All-to-All、最慢 rank 时间、质量EP 路由和容量是否稳定
分布式推理Part 02 · 81TTFT、TPOT、吞吐、P95/P99、队列、KV handoffTP、Replica 或 PD 是否满足服务目标

选择条件与验证证据 ​

决策规则 ​

accept 要求收益经过重复测量并通过正确性或质量门槛;tune 表示机制方向成立但仍有可定位的通信、负载或配置问题;reject 表示失败、不可比或新增代价吞掉了收益。

结论证据条件下一步
acceptworkload 可比,结果稳定,容量或性能收益达到目标,质量正确固化配置与 artifact,进入回归测试
tune已出现收益,但 overlap、负载、并行度或长尾仍不稳定一次只调整一个候选因素并复测
reject运行失败、结果不可比、正确性失败或通信吞掉收益保留 failure,回退 baseline 或更换切分方式

相关阅读 ​

Released under the MIT License.