Skip to content

通信与并行实验资产表 ​

本表登记通信实验使用的 Profile、比较对象、结果路径和证据状态。环境创建命令见实验 Quickstart,Profile 与隔离关系见环境资产索引,实际依赖和硬件写入结果 JSON。

环境角色 ​

环境 ID直接入口可形成的证据
PAR-CPUPart 02 的 Step 4 与框架一致性核对两进程 Gloo collective、DTensor 布局、上下文切分和可用的 Pipeline API 语义
PAR-CUDA-MECHANISM27–29、46–48、PAR-CONTEXT、PAR-REPLICA单机多卡 collective、rank 布局、payload、局部计算与暴露通信
PAR-TRAIN-CLUSTER-RAY(规划)79、PAR-MODEL-INTERNAL、80 的跨节点项目Ray Train 管理 worker、资源预留、失败恢复和任务编排;底层张量通信仍由 PyTorch Distributed / NCCL 完成
PAR-SERVING-RAY(规划)81 的集群 Serving 路径Ray Serve 管理副本、placement group、跨节点 worker 和弹性伸缩;模型执行与缓存指标仍由 vLLM / SGLang 产生
独立 Serving backend81 的单机或不使用 Ray 的路径vLLM / SGLang 的请求、模型并行、副本和服务指标

PAR-CUDA-MECHANISM 不安装 Ray。Ray 只在项目需要跨节点资源编排、整组调度、故障恢复、服务副本或弹性伸缩时进入独立环境;放置组创建成功不能替代 NCCL 正确性、带宽或扩展效率证据。

多卡验证矩阵 ​

RTX 3080 ×2、每卡 20 GB 可以完成本专题的双卡机制验证和三个项目的双卡基线。四卡不是所有实验的前置条件,只用于验证二维设备网格或复合并行;六卡可用于扩展曲线,但不作为首轮验收要求。

设备条件优先验证能形成的结论暂不能外推
2 × RTX 3080 20 GB47 → 48 → 27 / 29 / 28 → PAR-CONTEXT / PAR-REPLICA → 46单机双卡 collective、状态/张量/阶段/序列切分、专家与副本负载证据跨节点效率、二维组合并行与大规模长尾
2 × RTX 3080 20 GB79、80、81 的双卡基线;87 的 PP2、TP2 或 CP2 单轴候选真实模型下单轴候选的容量、正确性与关键路径TP×PP、TP×CP 等二维网格收益
4 × GPU87 的二维 Device Mesh;80 的更多专家/rank;81 的副本×模型并行组合组合布局、进程组隔离、负载和恢复范围跨机网络与生产集群弹性

机制实验注册表 ​

实验 ID / 页面固定对照主要指标当前状态
PAR-CANDIDATE-GATE / Part 01 · 26候选要求 → 环境约束每 rank 容量、链路域、并行度乘积、拒绝原因CPU 机制计算器已验证
PAR-CHECKPOINT-RECOVERY / Part 01 · 28完整状态 → 缺失状态 / 分片manifest 完整性、保存开销、回滚成本、恢复条件CPU 机制计算器已验证
PAR-ZERO-STATE / 27DDP → ZeRO-1/2/3状态字节、峰值显存、通信量、step time5.1–5.4 已统一;真实多卡待验证
PAR-PIPELINE-SCHEDULE / 28单 stage → 两 stage;fill-drain → 1F1Bbubble、activation 峰值、stage time、吞吐5.1–5.4 已统一;真实多卡待验证
PAR-TENSOR-LAYOUT / 29单卡 MLP → Column/Row TP数值等价、collective bytes、延迟、显存5.1–5.4 已统一;真实多卡待验证
PAR-EXPERT-DISPATCH / 46balanced → skewed routingcapacity、overflow、All-to-All bytes、max/mean load页面与 GPU 契约已统一;真实多卡待验证
PAR-NCCL-COLLECTIVE / 47AllReduce / AllGather / ReduceScatter × payloadmedian/P95、有效带宽、每 rank 时间公共多卡基线已统一;真实多卡待验证
PAR-OVERLAP-HOTSPOT / 48serial → overlap通信总时长、暴露通信、overlap ratio、rank imbalance已复用公共身份与结果字段;真实多卡待验证
PAR-CONTEXT-RING / PAR-CONTEXT复制完整 K/V → 序列切分与交换正确性、状态字节、交换字节、延迟机制实验已统一;Ring kernel 证据待项目验证
PAR-REPLICA-ROUTING / PAR-REPLICAlocal / balanced / locality-awaremakespan、每副本负载、队列等待只形成副本机制证据

49 是 CPU 策略决策页,消费上述资产,不单独制造 GPU 结果。

项目接口 ​

项目页复用机制字段,但必须重新固定真实模型、输入、拓扑与执行栈;机制 JSON 不能直接充当项目结论。

稳定项目 ID消费的机制资产项目补充的证据当前接口状态
PAR-TRAINING-STATE / 7927、47、48、PAR-CHECKPOINT-RECOVERYDDP / FSDP / ZeRO 的真实训练显存、吞吐、通信与恢复条件已接 distributed-benchmark/v1 聚合;真实多卡待验证
PAR-MODEL-INTERNAL / 8728、29、PAR-CONTEXT、47、48PP / TP / CP 与混合布局的真实模型结果CPU 项目已建设;真实执行 adapter 待接入
PAR-MOE-EXPERT / 8047、46、48真实 MoE workload 的有效 token、overflow、All-to-All 与长尾已接聚合器;真实 MoE backend 待接入
PAR-DISTRIBUTED-INFERENCE / 81PAR-REPLICA、29、PAR-CONTEXT、48副本、模型并行与 PD 分离的 Serving 指标5.1–5.6 已分层;vLLM / SGLang adapter 待接入

四个项目共享结果 envelope,但不互相读取 Notebook 内部变量。79 交付训练状态并行基准,87 交付模型内部布局基准,80 交付专家路由与 All-to-All 基准,81 交付分布式 Serving 基准;49 只读取这些项目的归一化结果并形成组合建议。

项目固定基线候选范围必须输出的专属证据不承担的职责
79 PAR-TRAINING-STATE相同模型、global batch 与 dtype 的 DDPFSDP / ZeRO 状态分片训练峰值、step time、吞吐、collective、checkpoint 恢复PP / TP / CP 布局和 Serving 指标
87 PAR-MODEL-INTERNAL可运行的单轴布局或单卡语义基线PP、TP、CP 及二维 Device Mesh数值正确性、局部状态、bubble、collective、扩展效率优化器状态分片、专家路由和请求调度
80 PAR-MOE-EXPERT相同 token、专家与路由输入的本地或均衡候选EP 放置、capacity 与路由候选有效 token、overflow、All-to-All、最慢 rank、输出正确性通用 TP / PP 组合和服务副本路由
81 PAR-DISTRIBUTED-INFERENCE相同模型、请求集与服务目标的单实例路径Replica、TP 与 PD 分离TTFT、TPOT、吞吐、尾延迟、队列、KV handoff训练梯度同步和后训练质量提升

公共结果字段 ​

字段组必须记录
身份semantic_id、workload_id、run_label、页面与策略
硬件与拓扑GPU、world size、rank-device 映射、单机/跨机、链路信息
通信backend、collective、payload bytes、调用次数、同步频率
时间compute、communication、exposed communication、median/P95
负载每 rank 时间或工作量、max/mean、overflow 或空闲比例
恢复checkpoint ID、manifest、rank 分片覆盖、提交状态与恢复结果
结论correctness、failure、fallback、evidence_level、decision

机制实验不能把环境预检写成通信证据,也不能把单机双卡结果外推为跨机扩展效率。项目页必须固定真实模型、输入和执行后端后重新测量。

Released under the MIT License.