Group 2.7: KV Cache and Serving Systems | 2.7：KV Cache 与 Serving 系统
本组从 KV Cache 的表示与物理管理进入多请求 Serving。学习路径依次回答：状态如何存、何时分配与回收、怎样跨请求复用、每轮接纳哪些请求，以及 Prefill、Decode 和异构资源如何协同。
Group Asset Overview | 组内资产总览
| 机制层 | 页面 | 核心职责 |
|---|---|---|
| 请求入口 | INF-REQUEST | 请求阶段、TTFT、TPOT、排队与失败状态 |
| 紧凑表示 | ARCH-MLA | 历史状态压缩、重建与 KV 容量变化 |
| 物理管理 | 22 PagedAttention → 37 KV 生命周期 | page/block 映射，以及 allocate、append、share、evict、reclaim |
| 前缀复用 | 24 Prefix Cache → 34 RadixAttention | 前缀匹配、共享和树索引 |
| 迭代预算 | INF-ITERATION-BUDGET | 访存/计算时间和 slot、KV、Token、SLO、backend 上界 |
| 请求选择 | 36 Decode Scheduling | 优先级、aging、deadline、准入与抢占 |
| 动态批次 | INF-CONTINUOUS-BATCHING | iteration boundary、请求加入/退出和预算补位 |
| 阶段调度 | 38 Prefill/Decode Scheduling | Chunked Prefill、逻辑分池与交接预算 |
| 执行协同 | INF-SERVING-OVERLAP | transfer、overlap window、exposed time 与状态依赖 |
| 异构服务 | 39 Hetero PD | 资源路由、handoff/recompute 与服务分层 |
| MoE 分支 | INF-AFD | Attention/FFN 角色拆分与独立扩缩容 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- KV 路径：请求状态 →
ARCH-MLA→ 22 → 37 → 24 → 34；54 的 KV Cache 量化作为压缩分支按需进入。 - Serving 路径：
INF-ITERATION-BUDGET→ 36 →INF-CONTINUOUS-BATCHING→ 38 →INF-SERVING-OVERLAP→ 39。 - 36 消费 37 提供的容量状态，但不管理 block 生命周期；AFD 只在 MoE Serving 和角色压力不对称时进入。
Next Steps | 后续衔接
Environment Notes | 环境说明
- CPU 机制页先验证状态与决策；环境预检不等于 GPU 实验。
- 真实证据必须固定模型 revision、请求清单、并发、Token 预算、缓存策略和 backend，并记录 TTFT、TPOT、吞吐、尾延迟、失败与状态指标。