跳转到正文

第 0 章 协议与纸面演练 ​

⚠️ Alpha内测版本警告

此为早期内部构建版本,尚不完整且可能存在错误,欢迎大家提Issue反馈问题或建议。

本章导读 ​

本章不装环境,不跑训练,也不调 kernel。我们先坐下来把四件事说清楚:这本书为谁解决什么问题、你手里有什么硬件和模型、测量要遵守什么规则才可信、模拟器能做什么、不能做什么。读完并完成本章实验后,你手里应该有一份字段完整的纸面实验底稿——它是后续每一章真机实验的模板,也是全书第一条"预测 → 实测 → 校准"闭环的起点。

教学目标 ​

  • 能说明本教程在 AMD Hello 系列中的位置(hello-rocm 入门实践、hello-gpu 计算优化、hello-mlsys 服务平台),以及 MLSys·im 与 mlsys-simulator 两个模拟器的分工,并复述"预测 → 实测 → 校准 → 决策"的学习闭环;
  • 能列出目标 AMD 卡的算力、显存带宽、显存容量与互联参数,并注明参数来源,区分标称值与实测有效值;
  • 能执行统一测量协议:token / GB-GiB / 延迟 / 功耗口径,预热、重复次数与方差记录,校准集与留出配置的预先划分;
  • 能说清模拟器工具链能建模什么(性能、显存、排队、通信)、不能建模什么,以及缺项时最小教学分析模型的定位;
  • 能填写一份字段完整的纸面实验底稿(硬件版本、ROCm 版本、预热次数、重复次数、留出配置),并完成一次纯纸面的权重显存与 Roofline 手算。

0.1 教程定位与学习路径 ​

为什么需要一门 ML Systems ​

先从一个观察开始。业界常说:"世界正匆忙地建造 AI 系统,但并没有在工程化地建造它们(The world is rushing to build AI systems. It is not engineering them.)"(mlsysbook.ai, 第 1 章)。这句话的意思是:大量 AI 系统是在试错中搭起来的——"先跑起来再说,慢了再调"。CMU 15-442/15-642 课程开篇用同一个问题切入:为什么需要 ML Systems? 答案是:模型效果之外,系统决定了这个模型能不能上线、成本多少、尾延迟是否达标——而系统行为可以用物理量(FLOPs、字节数、带宽、延迟)来预测,而不是只能靠试。

这给了本书一个可以操作的第一定律。mlsysbook.ai 称之为 Iron Law of ML Systems:

text
T ≈ D / BW  +  O / (R · η)  +  L
     └─数据项─┘  └───计算项───┘  └─开销项─┘
  搬运数据的下界  计算的下界(打折)  调度/启动/通信
  • D / BW:这一步要搬运多少字节(权重、KV),除以带宽,是时间下界;
  • O / (R·η):这一步要做多少 FLOPs,除以峰值算力再除以利用率 η——η 是你离硬件极限的距离;
  • L:kernel 启动、调度、通信等固定开销。

注意:roofline 引擎实际取的是 max(数据项, 计算项) + 开销项——一步至少花掉"算完"或"搬完"中较慢的那个时间(whichever is larger),而不是两者相加。你会在第 1 章反复用到这个公式:每一次"预测"都是它在具体模型、硬件、配置下的实例化;每一次"校准"都是在问"我的 η 和 L 猜得对不对"。

这本书和它的姐妹教程 ​

  本书属于 AMD Hello 系列。三个项目可以独立学习,也能通过同一个模型串联实践:在 hello-rocm 中训练、微调和使用模型,在 hello-gpu 中理解并优化计算,在 hello-mlsys 中将模型部署为高效的共享服务。

教程回答的问题本书与它的关系
hello-rocmAI 入门实践:环境准备、模型推理、训练、微调与 Agent 开发环境安装、模型使用与微调一律引用它,本书不复述
hello-gpuGPU 计算优化:GPU 编程、数据类型、GEMM 与算子优化(kernel 级)算子/kernel 调优是它的主场;本书把算子当"黑盒成本",只关心它的 FLOPs 与字节数
hello-mlsys(本书)LLM 服务平台:怎样把模型部署成高效的共享服务,怎么知道它有效以 vLLM 为主线,在 AMD 设备上从单机部署走到多机服务,用模拟预测、用真机验证和校准

  本书做"先预测、再实测"时用到两个模拟器:

工具是什么本书怎么用
MLSys·immlsysbook.ai 配套的系统建模方法与参考模拟器(Roofline 等解析公式与硬件参数档案)参考模拟器:本书解析层借它的方法与公式,兼作对照学生手算的第三方标尺
mlsys-simulator课程自研的确定性 CPU 服务模拟器:请求到达、continuous batching、KV 内存压力、抢占与重算、TP/PP、Prefix Cache、Chunked Prefill、多副本路由本书的主工具(§1.1/§1.4 的 simulate/predict 六元组接口即它);源码公开在 GitHub,许可证尚在选定中

一句话分工:hello-rocm 带你从零跑起模型并完成训练与微调,hello-gpu 教你看懂并优化每一次计算,hello-mlsys 教你把模型部署成高效的共享服务,并用模拟预测、用 AMD 真机验证和校准。 训练显存优化、集群调度平台不在本书主线。

全书的学习闭环:预测 → 实测 → 校准 → 决策 ​

  每章都围绕同一个七步闭环展开。它和"先跑起来再说"的区别在于:预测必须发生在测量之前,并留痕。

text
定义场景与约束 → 运行模拟器并留存预测 → 选择实测点 → AMD 真机验证
        ↑                                              │
        └────────── 设计决策 ← 留出验证 ← 解释误差与校准 ┘

四条纪律(本书反复引用,此处只定义一次):

  1. 预测先于测量,且留痕。 先看了测量值再"拟合"出的预测只能叫回拟合(back-fitting),不算预测。
  2. 校准集拟合,留出集只评测。 用留出结果回头再调参,留出集就烧掉了,必须换新留出配置——"先看了答案再填参数"无效。
  3. 重复 ≠ 泛化。 同一个配置跑 3 轮测的是方差,不能宣称"第 1、2 轮校准、第 3 轮验证"。
  4. 结论必须带证据等级。 mock(LLM 当模拟器,只走流程)< simulated(真 DES 模拟器 + 校准参数)< measured(真机);hardware_validated 结论要求留出集上的真机证据。

这本书适合谁,前置要求是什么 ​

前置要求:

要求说明
Python / PyTorch能读懂推理服务代码(如 vLLM 的启动参数),不必会写 kernel
Linux 命令行会装环境、跑脚本、看日志;熟悉 git
英文文档阅读ROCm / vLLM 上游文档以英文为准
基础概率统计理解均值、p99、方差,能看懂"50 个样本的 p99 说明不了什么"

读者画像:

如果你……这本书给你……
用 PyTorch 能跑模型,但说不清系统性能从哪来一套"把系统行为翻译成 FLOPs/字节/带宽"的方法
想进 MLSys / AI Infra 方向与 CMU 15-442 大纲对齐的建模主线 + 可复现的校准实验
做容量规划、量化选型、框架选型,缺判断依据每章一个可量化的决策:显存账本、误差预算、α-β 通信、SLA 容量
想以 AMD 设备为主力学习环境9070 XT 为主线的完整真机路径 + W7900D 多卡章节 + Ryzen AI MAX+ 395 端侧适配(进行中)+ 无设备替代路径

边界声明:

  • 不是为了反 NVIDIA——问题是平台无关的,换 NVIDIA 卡只是换参数,方法论不变;
  • 不是 kernel 调优手册——那是 hello-gpu;
  • 不承诺"一次预测精确到 ±5%"——本书的目标是可信的量级 + 被校准的误差 + 有证据的决策,精度来自校准而不是承诺。

学习路线图 ​

  本书内容覆盖「单机部署、服务评测、单机优化、多机服务、进阶协同」五个模块,章节顺序就是推荐的学习顺序,第 0–2 章是贯穿全书的性能分析基础。「单机部署」与「多机服务」两个模块正在编写,下表只列现有章节,并标出每章所属模块:

部分章节你会完成什么所属模块
Part 0第 0 章(本章)填出一份字段完整的纸面实验底稿(含纯纸面手算)性能分析基础
Part 1 建模与校准第 1 章Roofline 预测:prefill / decode 宏观拆解、瓶颈判定与时间量级性能分析基础
第 2 章第一次真机校准:拟合 η_compute、η_mem、T_launch,留出集验证性能分析基础
第 3 章显存账本:权重 + KV 缓存,容量上限与并发上限单机优化
第 4 章量化误差预算:位宽、显存 / 速度 / 质量折中单机优化
第 5 章通信建模:α-β 模型,PCIe / 链路带宽实测进阶协同
第 6 章模型并行:DP / TP / PP 的显存与通信代价进阶协同
第 7 章服务排队:连续批处理、SLA 容量边界与压测规程服务评测
第 8 章框架取舍:vLLM 与 llama.cpp 等的系统级对比单机优化
Part 2 与 AI 一起设计第 9.1–9.3 章三个实战:端侧部署助手、单机 SLA、W7900D 多卡集群设计单机优化(9.1 / 9.2)· 进阶协同(9.3)
Part 3选读与案例库KV 搬运 vs 重算等专题 + 案例卡选读
附录 A–F硬件卡 / 模型卡 / 术语 / 参考 / 社区 / 排错全书查询手册——

0.2 AMD GPU 硬件图谱 ​

教学档位 T1–T4 ​

  全书实验按四个档位标注适用性;每个实验页面都会标出"适用档位 + 无设备替代路径",没有对应硬件也能完成该章的模拟器部分。

档位硬件角色状态
T1RX 9070 XT 16 GB(单卡)主线真机:Part 1 实验 + 9.1 / 9.2参数已核实(下表)
辅助RX 7900 XTX 24 GB(RDNA 3,960 GB/s)辅助测量:第 4 章留出验证、第 5 章 PCIe 实测实验时记录参数
T2W7900D 48 GB(单卡)T1 装不下或需更大显存的场景官方参数见下表;ROCm 10.2.0 起官方支持
T3W7900D 48 GB 多卡(≥4 卡)第 9.3 章:32B + 7B 级 deep-research 负载的集群设计同上
端侧Ryzen AI MAX+ 395(CPU / GPU 共享统一内存)端侧部署与资源受限场景(第 9.1 章)适配中
T4无 GPU / 云端替代路径:纯 CPU 预测(Part 1 全部可完成)或云端 ROCm 环境始终可用

为什么选 AMD ​

  理由和 hello-gpu 一致,这里只说结论:

  • 消费级卡买得起:9070 XT 是学生和小型实验室真能买到的卡,真机校准不依赖机房;
  • 生态年轻是特性:文档缺口、工具链差异会逼你查一手资料——这正是 MLSys 要练的能力;
  • 问题平台无关:Roofline、显存账本、α-β 通信在 NVIDIA 上同样成立,换卡只换参数表。
  • 消费卡没有数据中心互联:9070 XT 多卡只有 PCIe,这反而让第 5 章"通信吃掉多少并行收益"变得非常具体——PCIe 上的 TP 代价高昂,逼你做真实的取舍。

RX 9070 XT(T1)关键参数 ​

  下表数字全部来自 AMD 官方产品页(来源列可点击核对);"推导"列是本教程为教学做的换算,不是 AMD 给的数。真机有效值以第 2 章校准为准,标称值只用于第 1 章的预测。

参数标称值来源 / 备注
架构RDNA 4(Navi 48,gfx1201),64 CU / 4096 SPAMD 官方页
加速频率≤ 2970 MHz(游戏频率 2400 MHz)AMD 官方页
FP32 向量峰值48.7 TFLOPSAMD 官方页
FP16 矩阵峰值195 TFLOPS(矩阵指令路径)AMD 官方页
FP8 / INT8 矩阵389 TFLOPs / 389 TOPsAMD 官方页
显存16 GB GDDR6,256-bit,20 GbpsAMD 官方页
显存带宽640 GB/s(256-bit × 20 Gbps 标称)由上式推导;实测见第 2 章
主机互联PCIe 5.0 x16AMD 官方页
板卡功耗304 WAMD 官方页
ROCm / 驱动版本实验时记录(rocminfo、rocm-smi)每次真机实验先做环境快照再运行

教学用 ridge 点(推导值,第 1 章 Roofline 图的纵轴交点):

  • FP16 矩阵路径:195e12 / 640e9 ≈ 305 FLOP/byte
  • FP32 向量路径:48.7e12 / 640e9 ≈ 76 FLOP/byte

  AI 高于 ridge 点 → Compute-bound;低于 → Memory-bound。注意这些 ridge 点用的是标称带宽;第 2 章拟合出有效带宽后,ridge 点会移动——这正是"预测 → 校准"的第一次显形。

W7900D(T2 / T3) ​

参数值来源 / 状态
架构RDNA 3(gfx1100),Radeon PRO 工作站卡AMD 官方页(中文站)
显存48 GB GDDR6 ECC,384-bitAMD 官方页
显存带宽864 GB/sAMD 官方页
FP16 矩阵峰值 / FP32 峰值106 TFLOPS / 53 TFLOPSAMD 官方页
板卡功耗295 WAMD 官方页
软件支持ROCm 10.2.0 起列入官方支持;更早的 ROCm 版本未列出此卡ROCm 兼容性矩阵
集群规模 / 互联拓扑≥ 4 卡;拓扑与链路实验时记录第 9.3 章场景定义

  教学用 ridge 点(推导值):FP16 矩阵路径 106e12 / 864e9 ≈ 123 FLOP/byte。W7900D 实测前,相关实验先走 T4 纯 CPU 预测路径。

Ryzen AI MAX+ 395(端侧,适配中) ​

参数值来源 / 备注
GPURadeon 8060S,40 CU(gfx1151)AMD 官方页
内存最高 128 GB LPDDR5x-8000,256-bit,CPU / GPU 共享统一内存AMD 官方页
内存带宽≈ 256 GB/s(256-bit × 8000 MT/s)由上式推导;AMD 博客给出同一数值
GPU 可用内存Windows:可变显存(VGM)最高 96 GB(128 GB 机型);Linux:默认约为系统内存的 50%,可调高AMD 博客;ROCm 系统优化文档

  端侧设备的特点是容量大、带宽低:能放下 16 GB 显卡放不下的模型,但 decode 的权重扫描受 ≈256 GB/s 限制,比 RX 9070 XT 的 640 GB/s 慢得多——这正是第 9.1 章端侧选型要权衡的地方。

推理框架支持(截至 2026 年 11 月) ​

  同一个框架在不同 AMD 设备上的支持程度差别很大,选型前先核对官方文档:

框架RX 9070 XT / RX 7900 XTX / W7900DRyzen AI MAX+ 395本书用法
vLLM✅ 官方支持(Linux;W7900D 按 gfx1100 覆盖)✅ 官方支持(Linux,需 ROCm ≥ 7.0.2)主线框架
llama.cpp(llama-server)✅ 官方提供 ROCm 与 Vulkan 构建✅ 官方提供 ROCm 与 Vulkan 构建对照实验与端侧部署
SGLang❌ 上游只支持 Instinct 数据中心 GPU;AMD 自建镜像提供"初步"Radeon 支持,有已知问题⚠️ 仅有实验性镜像,上游未列为支持目标本书暂不使用

  Radeon 多卡张量并行:vLLM 在 Radeon 上走 RCCL,官方文档没有给出多卡支持说明,社区有 TP=2 启动失败的公开问题;第 5 章本机双卡 RCCL 也没有跑通。本书涉及 Radeon 多卡的结论一律以实测为准,并注明"行为验证"还是"性能验证"。

来源:vLLM 安装文档(ROCm)、llama.cpp 构建文档、SGLang AMD GPU 文档、AMD ROCm 上的 SGLang、SGLang issue #46900、vLLM issue #38587。

模型档位 ​

  全书主线使用 Qwen3 系列(附录 B 模型卡记录完整架构参数,来源为各模型 Hugging Face config.json):

模型架构要点(HF config)用在哪为什么
Qwen3-0.6B28 层,hidden 1024,16 q-heads / 8 kv-heads,head_dim 128,embedding 与 LM head 共享第 1/2 章建模与校准最小、最快,profile 友好,校准集首选
Qwen3-1.7B28 层,hidden 2048,16 / 8 heads,inter 6144第 2 章 kernel 归因(认知用途)、第 4/5/7 章对比中档,暴露更多算子结构
Qwen3-4B36 层,hidden 2560,32 / 8 heads,inter 9728第 7/8 章服务负载16 GB 显存下最直观的主力档位
Qwen3-8B / Qwen3-32B——第 6 章并行切分、第 9.3 章集群(7B–8B 级与 32B 两档)32B 单卡装不下 → 强制做出切分决策

命名口径

模型名统一使用 Hugging Face 仓库 ID:Qwen/Qwen3-0.6B / Qwen/Qwen3-1.7B / Qwen/Qwen3-4B(0.6B 为 0.59 B 参数)。引用实验脚本与模型卡时以仓库 ID 为准。

真机验证命令与环境快照 ​

  每次真机实验先记录环境,再运行。最小快照(写入底稿 environment 字段):

bash
rocm-smi --showproductname --showmeminfo vram   # 卡型、显存总量
rocminfo                                        # 驱动 / ROCm 版本、GPU 型号
python -c "import torch; print(torch.__version__, torch.cuda.get_device_name(0))"
vllm --version                                  # 若使用 vLLM

规则:配置不可用时不静默改配置——标注 unsupported,保留报错与版本号,供第 2 章误差归因引用(软件版本、ROCm 版本都是归因项)。

无设备替代路径(T4) ​

场景替代
无 9070 XT第 1 章(Roofline 预测)与第 3 章(显存账本)纯 CPU 可完成,只缺第 2 章真机校准
需要 W7900D 而未到位先以 §0.2 的 W7900D 官方标称参数跑模拟器,底稿标注 pending: W7900D measured,实测后重跑
完全无 GPU云端 ROCm 环境(如 AMD Radeon Cloud);测量协议不变,config_id 中的 device 字段如实填写

0.3 统一测量协议 ​

为什么需要协议 ​

  性能工作里最大的假优化来源不是算法,而是测量方式:"真的更快了,还是只是换了量法?"三个典型漂移:

  • 单位混用:16 GB 写成 16000 MB 或 15.26 GiB,显存账本对不上;
  • 没有预热:首请求承担冷启动、缓存未命中、JIT 编译成本,TTFT 偏差一个数量级;
  • 先看答案再拟合:在测量集上拟合参数再自称"验证"——那叫回拟合。

协议的目的不是流程繁琐,而是让任何一章、任何人、任何时候的测量结果都可以互相比较。本节就是全书统一的测量协议,每章都必须遵守。

单位口径 ​

项口径
token 数按实际 tokenizer + chat template 计算(含 system prompt 与模板),分别记录"原始输入长度"与"完整输入 token 数"
容量(显存等)二进制 GiB(2³⁰ 字节)——与 rocm-smi(MiB ÷ 1024)、PyTorch 分配报告对齐
带宽 / 互联速率十进制 GB/s(10⁹ B/s)——与标称规格口径一致
首次出现必须同时标注单位;同一实验内禁止混用(如"权重 1.19 GB" 与 "KV 112 KiB/token" 可以并存,因为都标了单位,但同一列必须统一)
延迟ms;TTFT 从客户端提交时刻起算(含网络 + 排队);TPOT = (末段到达 − 首段到达)/(N−1),仅 N>1 且正常完成时报告,标注为客户端估计
功耗W(板卡级),记录采样间隔;降频(throttling)是误差归因项,不是噪音
可复现性随机种子、软件版本、拓扑必须记录在底稿

四种身份标识 ​

  测量记录的唯一键由四个 ID 构成:

ID含义不变量
trace_id请求内容 / 顺序 / tokenizer / 模板 / 生成目标的不可变指纹换了任何一个 → 新 trace
config_id模型 / 设备 / 版本 / 引擎参数 / 并发 / 开关的组合指纹底稿 scenario + environment 的指纹
run_id一次完整重放(30 预热 + 150 测量)重跑不覆盖,新 run 新 ID
request_idtrace 内稳定的请求序号预热与测量段分开标注

预测记录额外挂 prediction_id、模拟器版本、校准版本,与 config_id 绑定——预测和测量靠 config_id 对齐,靠时间戳先后关系判定"预测先于测量"。

负载(workload)定义 ​

  §0.4 的六元组以 simulate(workload, …) 打头,四种身份标识里也已有 trace_id——但 workload(trace)到底是什么,必须先定下来,否则每章"喂给模拟器的输入"都是悬空的。一个负载 = 一组请求 + 它们的到达方式,由 trace_id 整体指纹化(请求内容 + 顺序 + tokenizer + 模板 + 生成目标,换任何一项 → 新 trace)。全书只用两种形式:

形式到达方式由什么刻画本书用在哪
离线 batch(定形扫描)请求一次性给定,无到达时间;固定并发池(闭环)轴:prefill 输入长度 S(b=1)、decode batch 大小 B + 平均 ctx第 1、2 章的 Roofline 与校准实验
在线到达(开环 trace)每条请求带到达时间戳,到达独立于完成分布:到达间隔、输入 token 长度、输出目标长度(三个分布)第 7 章 DES(容量拐点 / SLA)

  两条纪律:

  • trace 的最小格式(逐条请求):request_id(trace 内稳定序号)、到达时间(在线给 / 离线无)、prompt token 序列、目标输出长度、(可选)system prompt 与 chat template 字段。离线 batch 把"到达时间"换成一根扫描轴(S 或 B)——该问的不是"第 k 条请求几点到",而是"这根轴扫过去,性能怎么变"。
  • 闭环 vs 开环:固定并发池是闭环——实际到达由完成时间决定("预热、重复与方差"节的 refill 规则),离线 batch 天然是它;开环排队需要独立的到达 trace,模拟器必须执行相同的补位规则,否则"预测 vs 实测"差的是协议而非系统。

  S∈{128,512,2048}、B∈{1,4,16}、ctx=1024 这组具体取值在第 1 章 §1.4(轴第一次被使用处)给出理由;在线到达形式(到达间隔分布 + 输入/输出长度分布 → 容量拐点)是第 7 章 DES 的输入,本节先占位、第 7 章展开。

预热、重复与方差 ​

  • 10 条预热 + 50 条测量;整条 trace 完整重放 3 轮(每配置 = 30 预热 + 150 测量);
  • 预热单独记账,不计入测量;每轮开始时恢复到相同初始状态(服务重启或显式声明 KV/缓存状态);
  • 报告样本数、失败数、超时数;
  • 50 条请求的 p99 接近最慢样本,不能作为稳定尾延迟或 SLA 容量的结论——要报 p99 必须另给样本预算;
  • 单请求超时 180 s,整轮预算 900 s;失败轮保留,重跑用新 run_id,不得覆盖原始记录;
  • 固定并发池为闭环(closed-loop):实际到达时间取决于完成时间。模拟器必须执行相同的补位(refill)规则,否则"预测 vs 实测"差的是协议而不是系统;想测开环排队需要独立的开环 trace。

校准集与留出集 ​

  • 测量之前冻结:场景、候选矩阵、预测指标、参数来源、校准/留出清单——全部写进底稿;
  • 校准集用于拟合,留出集只用于评测;用留出结果回头再调参,留出集即烧掉,必须换新留出配置;
  • 同一配置跑 3 轮测的是方差,不得宣称"第 1、2 轮校准、第 3 轮验证";
  • 模拟器超出外推域时:默认停住并标注(unsupported / out_of_domain),不编造置信区间。

四个入口:predict / measure / compare / calibrate ​

  全书实验共用四类入口(对应 code/ 下的脚本,具体命名以最终工具发布为准):

text
predict   模型 + 配置 → 预测指标(测前留存,带 prediction_id 与时间戳)
measure   真机 / 模拟器后端 → 逐请求 + 系统指标(带 run_id)
compare   预测 vs 实测 → 误差 + 归因 + 结论(证据等级由两侧最高者决定)
calibrate 校准集实测 → 新的参数版本(η_compute / η_mem / T_launch,必须过留出集)

  本节固定"测量侧"的口径,下一节固定"预测侧"的工具链;两者共同落进 0.5 的底稿。

0.4 模拟器工具链与能力边界 ​

预测从哪来:三层结构 ​

  本书的模拟器(mlsys-simulator,系统规范见其仓库文档)分三层,公式化而不是写死几个固定数字:

text
┌─ 校准层:标称值 → 真机有效值(η_compute / η_mem / T_launch),带版本与适用域
├─ DES 层:请求到达 / 准入 / batch 组织 / KV 占用 / 排队 / 多副本
│          状态机;只感知 prefill 步与 decode 步,时间由解析层给出
└─ 解析层:一步 = 宏观组件分解(GEMM 类 / Attention 类 / Element-wise 类)
           每组件:工作量(FLOPs, 字节) → Roofline → 时间
           t_step = Σ max(T_compute, T_memory) + T_fixed   ← Iron Law 实例
  • 解析层回答"一步要多久":GEMM 类工作量随输入 token 数 O(S)(prefill)或全量权重扫描(小 batch decode,天然 memory-bound);Attention 类 O(S²)(prefill)或 KV 全读(decode);Element-wise 类(RMSNorm / RoPE / 激活)按带宽下限计;
  • DES 层回答"一条请求从提交到完成要多久":它调用解析层的 predict_prefill(batch_tokens, …) / predict_decode_step(batch_size, context_lengths, …) 获取步时间,不下探到 kernel 级;
  • 校准层回答"标称值和真机差多少":第 2 章在两个固定阶段(定长 Prefill、定并发 Decode)的端到端时间上拟合三个参数,并用未见过的 workload 配置做留出验证。

  运行入口采用六元组契约,五个产物全部落盘:

text
simulate(workload, infra, strategy, calibration, evaluation, execution)
→ manifest.json / result.json / requests.jsonl / events.jsonl / logs.txt

workload 是 trace,infra 是硬件档位(T1–T4),strategy 是调度/切分策略,calibration 是参数版本,evaluation 定义指标与 SLA,execution 记录种子、模拟器版本与预算。

能力边界表 ​

机制状态依赖章节
性能:prefill / decode 步时间✅ 解析模型 + 真机校准第 1、2 章
显存:权重 / KV 账本(含量化存储的字节账与反量化开销)✅ 解析模型第 3、4、9.1 章
排队 / batch 组织 / 连续批处理✅ DES第 7、9.2 章
抢占与重算 / 可选 CPU KV swap✅ DES第 7(归因)、9.3 章
前缀缓存 / 分块预填充(Chunked Prefill)✅ DES第 7、9.2 章
多副本路由与负载均衡✅ DES多机服务、第 9.3 章
TP / PP 切分✅ TP 在线建模、PP 解析建模第 6、9.3 章
通信:α-β 模型(AllReduce 等)🚧 模型已定义;真机链路参数部分标定(第 5 章 PCIe 实测,Radeon 双卡 RCCL 尚未覆盖)第 5、6 章
投机解码 / MoE 路由⬜ 选读(案例卡)Part 3
答案质量❌ not_evaluated——模拟器不判质量,质量必须真评第 4、9.1 章
kernel 级执行 / 框架调度器内部❌ 黑盒,只经测量观察第 8 章

  上表以 mlsys-simulator 当前版本为准。软件支持某个机制,不等于该配置已在 AMD 真机上验证了精度——精度结论只来自本书各章的留出验证。

  一条硬规则:不支持的机制显式拒绝运行或返回 not_covered,不静默忽略参数(E_MECHANISM_UNSUPPORTED)。宁可报错,不可假装支持——"未核实项不写成上游已支持"。

证据等级与结论等级 ​

证据等级含义能支撑的结论
mockLLM 自己当模拟器(量级粗,只为走通流程)mock_only
simulated真 DES 模拟器 + 校准参数simulation_validated(需说明参数适用域)
measuredAMD 真机hardware_validated(需留出集 + 证据与局限说明)
——预测与实测差过大且归因未闭合unresolved(如实报告,不强行下结论)

模拟器告诉不了你的事(以及怎么办) ​

  • 质量:量化掉点多少、提示词变了体验如何——必须真评(第 4 章误差预算 + 第 9.1 章评测集);
  • 框架调度器的真实行为:模拟器建模的是"应有的批处理语义",真实 vLLM、llama.cpp 等框架的调度细节以测量为准(第 8 章);
  • kernel 级性能:某个 kernel 在 RDNA4 上有没有跑满——hello-gpu 的主场,本书只引用其结论。

  预测与实测分歧时,按四类偏差归因:测量噪音 / 参数漂移(η、L 过期)/ 机制缺失(not_covered 被漏标)/ 实现语义差异(模拟器与真机的 refill、批处理规则不一致)。第 2 章第一次完整走一遍这个归因流程。

  上游缺项时用最小教学分析模型补齐:要求可解释(一页纸能推完)、有手算示例(本章 0.5.3 就是模板)、显式声明适用范围。

0.5 纸面实验底稿 ​

为什么先填底稿 ​

  闭环第一步"预测先于测量并留痕",如果没有纸面记录,就不存在闭环。底稿是全书统一的记录载体:每个实验一份底稿,字段固定,每次重跑新建目录,不覆盖历史。本章的底稿是纯纸面演练;从第 2 章起,同一模板承载真机实验。

底稿模板 ​

完整模板见 experiment-draft.yaml(源码位于 docs/public/part0-intro/chapter0/,点击可查看或复制;内含填写说明注释与一个已填好的示例,后续各章底稿共用此模板)。顶层字段:

字段填什么
experiment_id / chapter底稿编号与所属章节
hypothesis你认为会发生什么 + 为什么,不是实验步骤
scenario模型 / 硬件档位 / 负载——config_id 的指纹
environment真机快照(§0.2 命令)或 paper-only
prediction预测工具、参数版本、预测指标;stored_at 必须先于测量
measurement_plan预热 / 样本 / 轮次 / 超时;校准集与留出集(测前冻结)
acceptance误差阈值与决策规则

后续章节使用时整体替换示例值,字段结构保持不变;重跑实验新建底稿文件,不覆盖历史。

手算示例:Qwen3-0.6B 的一次 decode 步 + 一份显存账本 ​

  这就是"纸面演练"的全部内容——只用手头已核实的参数(§0.2 硬件表 + HF config),在模拟器就位之前先把量级算出来。第 1 章的模拟器输出会重跑同一场景,手算 vs 模拟器的差异本身成为第一条校准记录。

架构事实(Qwen/Qwen3-0.6B,HF config.json):28 层;hidden 1024;16 q-heads / 8 kv-heads;head_dim 128(注意 Q 输出维度 = 16×128 = 2048 ≠ hidden);intermediate 3072;embedding 与 LM head 共享;BF16。

第 1 步:参数计数 → 每步权重字节数(decode 的 GEMM 类工作量)

块每层参数×28 层
Q (1024→2048) + K,V (1024→1024×2) + O (2048→1024)2.10M + 1.05M + 1.05M + 2.10M ≈ 6.29M176.1M
FFN (gate/up/down,1024×3072×3)9.44M264.2M
LayerNorm(忽略不计)~2K~0.1M
层小计15.73M440.4M
embedding + LM head(共享,151,936×1024)——155.6M
总计≈ 596M 参数

decode 每步的 GEMM 权重扫描 = 全部层参数 + LM head 投影(embedding 表本身只按 1 个 token 查表,不算扫描):

text
每步权重字节 ≈ (440.4M + 155.6M) × 2 B ≈ 1.19 GB(十进制)≈ 1.11 GiB(二进制)
t_weight = 1.19e9 B ÷ 640 GB/s ≈ 1.85 ms   (标称带宽,η = 1)

第 2 步:Attention 类 = decode 的 KV 全读

text
KV / token = 2 (K,V) × 28 层 × 8 kv-heads × 128 dim × 2 B = 114,688 B = 112 KiB/token
ctx = 1024 → KV 读取 = 112 KiB × 1024 = 112 MiB(≈ 117 MB 十进制)
t_kv = 0.117e9 B ÷ 640 GB/s ≈ 0.18 ms
QK^T / Softmax·V 的 FLOPs ≈ 数十 MFLOP,对 195 TFLOPS 可忽略 → Attention 类 memory-bound

第 3 步:瓶颈判定与时间下界

text
AI(GEMM 类) ≈ 1.19 GFLOP ÷ 1.19 GB ≈ 1.0 FLOP/byte  ≪  ridge 305 → Memory-bound
t_step ≈ t_weight + t_kv + T_launch ≈ 1.85 + 0.18 + T_launch(ms,未校准)
       ≈ 2.0–2.3 ms  →  decode 上限 ≈ 430–500 tok/s(B=1,标称,无开销折扣)

  这条结论(decode B=1 是教科书级 memory-bound:一步 ≈ 一次全量权重扫描)就是底稿 hypothesis 字段的来源;第 2 章的真机测量会告诉你真实的 η 是多少。

第 4 步:显存账本(同场景的容量面)

text
可用显存 = 16 GiB × 0.80(gpu_memory_utilization)= 12.8 GiB
权重占用 ≈ 1.11 GiB
框架 / 激活开销 ≈ 0.5 GiB(假设值,声明;真机以第 2 章 profile 为准)
KV 预算 ≈ 12.8 − 1.11 − 0.5 ≈ 11.2 GiB
KV 容量 ≈ 11.2 GiB ÷ 112 KiB/token ≈ 105,000 token
→ 例如 50 并发 × 2048 ctx 可容纳;10 并发 × 10,000 ctx 可容纳

验收清单 ​

  • [ ] hypothesis 写的是"我认为会发生什么 + 为什么",而不是实验步骤;
  • [ ] prediction.stored_at 时间戳早于任何测量开始;
  • [ ] 容量用 GiB、带宽用 GB/s,同一列不混用;
  • [ ] 四个 ID(trace/config/run/request)与 prediction_id 齐全;
  • [ ] 校准集与留出配置已冻结,留出集未参与任何拟合;
  • [ ] 重跑产生新 run_id,原始记录未被覆盖;
  • [ ] 不支持的机制标注了 not_covered,没有静默改配置。

实验设计 ​

模拟器实验 ​

完成 0.5.3 的纸面手算并填写一份字段完整的底稿(即本章交付物)。第 1 章模拟器就位后,用模拟器输出重跑同一场景(Qwen3-0.6B,T1,decode B=1/ctx=1024),将"手算 vs 模拟器"的差异作为第一条预测对预测的校准记录存档。

真机实验:无 ​

本章不使用真机;底稿 environment 字段填 paper-only。真机验证与 Profile 自第 2 章开始。

闭环与交付 ​

  • 预测(测前留存):0.5.3 手算的 decode 步时间与显存账本,连同底稿字段(硬件版本、ROCm 版本占位、预热 10、重复 3 轮 × 50、留出配置)留存。
  • 实测(选点运行):本章无。
  • 校准(解释误差):本章无;第 2 章产生第一条真机校准记录(η_compute / η_mem / T_launch)。
  • 决策(提交):一份字段完整的纸面实验底稿(含验收清单全勾),作为后续各章实验底稿的模板。

本章小结 ​

  • 本书的闭环是"定义场景 → 留存预测 → 选点 → 实测 → 校准 → 留出验证 → 决策",四条纪律(预测留痕、校准/留出不混用、重复≠泛化、结论带证据等级)贯穿全书;
  • 硬件图谱:T1 RX 9070 XT(标称 640 GB/s、FP16 矩阵 195 TFLOPS,来源 AMD 官方页;ridge 点 ≈305 / ≈76 FLOP/byte),RX 7900 XTX 作辅助测量,T2/T3 W7900D 48 GB(864 GB/s,ROCm 10.2.0 起官方支持),Ryzen AI MAX+ 395 端侧适配中(统一内存最高 128 GB、≈256 GB/s),T4 无设备可走纯 CPU 预测;推理框架以 vLLM 为主线、llama.cpp 做对照与端侧,SGLang 暂不使用;
  • 测量协议最小集:容量 GiB / 带宽 GB/s、四种 ID、10 预热 + 50 测量 × 3 轮、闭环并发补位规则、校准集/留出集冻结、50 样本不支撑 p99 结论;
  • 模拟器三层(解析 / DES / 校准)+ 显式边界:质量 not_evaluated、kernel 级黑盒、不支持的机制显式拒绝不静默忽略;
  • 交付物:一份字段完整的纸面实验底稿——Qwen3-0.6B 在 T1 上的 decode 步手算(≈2.0–2.3 ms/step,memory-bound)与显存账本(KV 容量 ≈10.5 万 token)。

延伸阅读 ​

  • mlsysbook.ai ——《Machine Learning Systems》Vol I(Harvard CS249r,Vijay Janapa Reddi 等,MIT Press,CC BY-NC-SA 4.0):第 1 章 "The World Rushing to Build AI Systems" 与 "Iron Law of ML Systems" 是本章 0.1 的直接来源;同站 MLSys·im 页面 介绍本书解析层所用的解析建模框架。
  • CMU 15-442/15-642: Machine Learning Systems(Tianqi Chen, Zhihao Jia):Week 1 "Why ML Systems?" 与全书主题排序(GPU 架构 → 并行化 → 显存 → LLM serving)可作为对照大纲。
  • hello-gpu:同硬件(RX 9070 XT + ROCm)的 GPU 编程与算子优化教程;本书把算子视为黑盒成本,kernel 级细节以它为准。
  • hello-rocm:AMD 平台上的环境准备、模型推理、训练、微调与 Agent 入门。
  • Williams, Waterman & Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures(CACM 2009)——第 1 章 Roofline 图的原始文献。
  • mlsys-simulator:本书主工具的源码与文档(校准、验证规范、课程工作流);附录 A 硬件卡 / 附录 B 模型卡(发布后替换本章 §0.2 的表格)。