跳转到正文

第 9.3 章 负载启发的推理集群设计 ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章导读 ​

本章是全书的结营章:给定一条冻结的 claudecode deep-research 轨迹(50+ subagent、32B/7B 两档请求),在 W7900D 48 G 多卡集群上用多种并行策略与多档模型协作,使总墙钟最短。先用模拟器完成配置筛选并留存预测,再实测验证,明确区分实测与外推。

教学目标 ​

  • 能把冻结的多 subagent DAG 轨迹建模为可调度负载:subagent 依赖、到达顺序、32B/7B 两档目标模型、prompt/输出长度分布;
  • 能枚举候选 infra 配置(32B/7B 的放置、并行策略 TP/DP、批处理、优先级/抢占、KV 预算),用校准后的模拟器预测总墙钟,并在实测前留存预测;
  • 能在 W7900D 48 G 多卡集群(≥4 卡)上跑端到端闭环,并解释预测墙钟与实测的误差:跨卡通信开销、调度开销、KV 抢占/换出、功耗降频;
  • 能在未参与枚举的留出配置上完成"先预测后实测"的验证,判断校准后的模型是否泛化;
  • 能把配置筛选过程写进决策日志,并在设计文档中明确区分"实测验证"与"模拟外推"。

内容梗概 ​

冻结轨迹与约束 ​

给定确定的一个 claudecode deep-research 轨迹,包含 50+ subagent 的一个多控制节点的 RAG(包含大 32B 模型和 7B 模型的请求)。每条请求标注目标模型(32B / 7B)、prompt 长度(含 RAG 检索上下文)、输出长度、subagent 间依赖与到达顺序。请求内容冻结不可改,infra 策略是唯一决策变量。

候选 infra 配置 ​

W7900D 48 G 多卡集群(≥4 卡,按实际卡数调整)上的部署参考:32B BF16 TP=2 与 32B FP8 单卡(KV 余量约 5 GB)作为两个候选配置;7B FP8 单卡(KV 余量约 30 GB),按余量加副本。至少枚举 3 套候选配置,显存余量、并行通信开销与排队长度的取舍各有不同。

墙钟目标与调度 ​

目标函数是总墙钟最短,而不是纯吞吐——这是 DAG 负载,关键路径决定墙钟。调度维度包括 subagent 依赖与到达顺序、优先级/抢占、批处理与 KV 预算。模拟器复用 Ch 1–Ch 3 校准的单请求成本模型(prefill/decode 时间、显存账本)与 Ch 7 的排队模型。

实测分层与回退 ​

主线是 W7900D 48 G 多卡集群(≥4 卡)的端到端闭环。无集群资源时的回退:9070 XT 16 GB 单卡只能完成 7B/4B 档位缩减轨迹(7B FP8;32B 即使 INT4 也放不下),作为入门练习,32B 部分用模拟器完成并明确外推边界。

验证边界与外推 ​

留出验证:在未参与枚举的配置上先预测后实测,检查校准后的模型是否泛化。设计文档中的每个数字都注明实测/外推范围。

实验设计 ​

模拟器实验 ​

  • 输入是冻结的 deep-research 轨迹:50+ subagent,每条请求标注目标模型(32B / 7B)、prompt 长度(含 RAG 检索上下文)、输出长度、subagent 间依赖与到达顺序;请求内容冻结不可改,infra 策略是唯一决策变量。
  • 复用 Ch 1–Ch 3 校准的单请求成本模型(prefill/decode 时间、显存账本)与 Ch 7 的排队模型,搭一个冻结 DAG 调度模拟器:给定 infra 配置(32B/7B 的放置、并行策略 TP/DP、批处理、优先级/抢占、KV 预算),输出逐请求完成时间、总墙钟、每卡利用率与 KV 水位。
  • 枚举至少 3 套候选 infra 配置并逐套预测墙钟,预测在实测前留存。示例配置:32B BF16 TP=2 + 7B 单卡 DP;32B FP8 单卡 + 7B 多副本 DP;32B INT4 单卡 + 7B 多副本 DP(显存余量、并行通信开销与排队长度各有取舍)。
  • 留出验证:改动一个配置维度(如 7B 副本数、KV 预算),预测新墙钟,与真机实测对比。

真机实验(W7900D 48 G 多卡集群,≥4 卡) ​

  • 部署参考(按实际卡数调整):32B BF16 TP=2 与 32B FP8 单卡(KV 余量约 5 GB)作为两个候选配置;7B FP8 单卡(KV 余量约 30 GB),按余量加副本;
  • 用模拟器选定的配置加载冻结轨迹跑端到端闭环:记录逐请求到达/完成时间、总墙钟、每卡利用率与 KV 水位;
  • 对比模拟器预测墙钟与实测值,误差归因:跨卡通信开销、调度开销、KV 抢占/换出、功耗降频;
  • 留出验证:在未参与枚举的配置上先预测后实测,检查校准后的模型是否泛化;
  • 无集群资源时的回退:9070 XT 16 GB 单卡只能完成 7B/4B 档位缩减轨迹(7B FP8;32B 即使 INT4 也放不下),作为入门练习,32B 部分用模拟器完成并明确外推边界。

闭环与交付(与 AI 一起设计,结营) ​

  • 预测(测前留存):各候选配置的墙钟预测与逐请求完成时间预测。
  • 实测(选点运行):用模拟器选定的配置加载冻结轨迹跑端到端闭环,记录逐请求到达/完成时间、总墙钟、每卡利用率与 KV 水位。
  • 校准(解释误差):模拟器预测墙钟与实测的误差归因:跨卡通信开销、调度开销、KV 抢占/换出、功耗降频。
  • 决策(提交):设计文档(部署矩阵、并行策略、调度策略、各配置墙钟预测 vs 实测)、留出验证结果与决策日志;每个数字注明实测/外推范围。

本章小结 ​

  • 本章目前是 Alpha 阶段的内容梗概、实验设计与教学目标骨架,正式正文会在对应实验跑通后补齐。
  • 与本章相关的代码、实验配置与测量记录会放在 code/part2-ai-design/chapter9-3/。

延伸阅读 ​

  • 待补充。