Skip to content

2. 7A | 2.7A:高级推理策略

本组聚焦更快的解码和缓存复用路径,目标是把推理侧的效率提升思路从单次生成扩展到多请求调度。当前主线已经覆盖 Speculative Decoding、RadixAttention、Prefix Caching、Chunked Prefill、Multi-Token Decoding、Decode Scheduling,以及 KV Cache Scheduling。

Group Overview | 组概览

这一组围绕“怎么更快生成”展开:先用 Speculative Decoding 和 RadixAttention 建立高级推理的基础直觉,再用前缀缓存、多 token 解码、decode 调度和 KV cache 调度补齐 serving 场景中的效率边界。

Page Template | 页面模板

这一组非项目页统一对齐 26 的 notebook-first 结构,保证阅读、填空和脚本校验一致:

  • 标题区:编号、标题、难度、环境、标签、目标人群、关键词。
  • 前置阅读:先放最小必要前置,优先保证正文主线可读。
  • 相关阅读:放工程背景或后续扩展,不抢正文主线。
  • Step 1:先讲问题、收益或核心机制。
  • Step 2:给出代码实现框架或关键数据结构。
  • Step 3:展开模拟机制、对比关系或关键细节。
  • Step 4:动手实战,完成一个最小可运行实现。
  • STOP HERE:保留自练区。
  • 参考代码与解析:统一收束答案和解析。

Group Asset Overview | 组内资产总览

职责作用定位
23评估 Speculative Decoding 的收益主线页
24看清 RadixAttention 的缓存复用主线页
36观察前缀缓存与分块预填充的收益扩展页
37理解 Multi-Token Decoding 的草稿-验证链路扩展页
38评估 Decode Scheduling 的调度收益扩展页
41观察 KV Cache 的复用与调度边界边界页

Learning Path | 学习路径

  • 先看 23 -> 24,把高级推理策略的基础链路先串起来。
  • 再看 36 -> 37 -> 38 -> 41,把缓存复用、多 token 解码和调度边界补齐。

Next Steps | 后续衔接

  • 看完本组后,可以进入 2.7B,把压缩与量化的主线接上。
  • 如果目标是系统性能分析,也可以继续进入 2.82.9,把推理策略放进并行通信和项目验证中。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把推理路径和缓存行为看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional,以后续单页说明为准。

Released under the MIT License.