推理优化（Inference Optimization）
专题类型：主学习路线 主服务目标：请求性能与 Serving 决策
推理优化研究模型如何把一组输入 Token 转换为连续输出，以及请求在排队、预填充（Prefill）、解码（Decode）、KV Cache 和执行后端中为何产生延迟、容量与吞吐差异。学习重点是把请求现象还原为状态、工作负载、执行路径和可比较证据。
本路线先固定请求生命周期和指标口径，再进入 Attention 执行、投机式生成、KV Cache、服务调度、压缩部署和分布式推理。机制页解释单个状态变化或执行选择，项目页在固定工作负载中比较真实后端并形成部署决策。
学习路线
按 Task 顺序学习时使用下表；需要连续理解请求因果关系时进入推理优化问题链，遇到延迟、容量、缓存或回退异常时使用推理优化判断手册。
扩展与跨专题入口
按需回补：架构与共享前置
遇到架构、MoE、dtype 或精度方面的知识缺口时，从下表回补对应入口，再回到当前 Task 继续学习。
| 补充主题 | Notebook 入口 | 建议时机 |
|---|---|---|
| 模型计算量与硬件资源 | Part 01 · 02 参数量与 FLOPs → Part 01 · 03 GPU 架构与显存 | Task0–1；需要估算计算、带宽与容量上界时 |
| 架构基础 | Part 02 · 05 LLaMA3 Block、Part 02 · 08 Architecture Tricks | Task0 后需要补模型数据流时 |
| 数据类型、量化表示与运行时约束 | Part 01 · 01 数据类型与精度 → Part 01 · 21 量化理论 → Part 01 · 34 异构运行时约束 | Task5；需要解释数据类型、产物兼容性或执行回退时 |
| 异步执行与状态交接 | Part 01 · 17 CUDA Stream | Task4；需要解释准备、计算和搬运重叠时 |
| 通信拓扑与集合通信 | Part 01 · 05 通信拓扑 → Part 01 · 20 NCCL 与 AllReduce | Task6；需要解释多卡通信上界时 |
| MoE 架构与计算 | Part 02 · 06 MoE Router、Part 02 · 07 MoE Load Balancing、Part 01 · 22 MoE 参数与计算 | Task4 / Task6；进入 AFD 或专家并行前 |
跨专题入口
需要定位延迟和容量来源时进入性能分析，需要比较候选和瓶颈转移时进入性能优化，量化产物与低精度路径进入量化与压缩，多卡切分与通信证据进入通信与并行，计算内核与融合进入算子优化。
实验与项目出口
首次运行先按实验 Quickstart创建或恢复环境，再从实验资产表选择 Profile、模型、工作负载、候选和结果路径；跨专题的软件版本与硬件快照查询GPU 环境资产表。机制页验证一个受控变量，项目页再进入真实执行后端、请求队列和部署决策。
| 证据阶段 | 要回答的问题 | 输出与入口 |
|---|---|---|
| CPU 机制 | 状态转换、公式、预算或选择规则是否成立？ | 各机制页的题目、测试、答案与解析 |
| 单卡机制 GPU | 真实模型、算子或运行时路径是否改变局部质量、延迟或显存？ | Part 02 · 20 FlashAttention / SDPA、INF-ITERATION-BUDGET、INF-EXECUTION-DISPATCH、INF-PROPOSAL 与 INF-SERVING-OVERLAP 的机制 JSON |
| 专项后端 | 缓存、调度或投机策略是否在真实请求中成立？ | Part 02 · 68 投机解码、Part 02 · 69 前缀缓存、Part 02 · 70 服务调度 |
| 单卡部署 | 合格产物是否被目标执行后端正确加载并产生可复现收益？ | Part 02 · 66 浮点基线 → Part 02 · 72 单卡部署；复用 Part 02 · 67 与 Part 02 · 71 的专项证据 |
| 分布式决策 | 多卡方案能否在通信代价下改善容量、延迟或吞吐？ | Part 02 · 87 模型内部并行 → Part 02 · 81 分布式推理验证 |