Group 2.6: Inference Execution and Generation Acceleration | 2.6：推理执行与生成加速
本组从单次 Attention 执行进入单请求生成，再比较投机式生成的不同候选拓扑。学习重点是区分“如何执行一次前向”“如何选择下一个 Token”和“如何用草稿减少目标模型轮次”。
Group Asset Overview | 组内资产总览
| 页 | 机制职责 | 实验出口 |
|---|---|---|
| 20 FlashAttention / SDPA | 分块 Attention、Online Softmax 与 SDPA 执行对照 | INF-CUDA-MECHANISM 单卡配对实验 |
| INF-EXECUTION-DISPATCH | 融合候选、backend 能力门槛与回退 | 单卡执行路径与 profiler 证据 |
| 21 解码策略 | 从 logits 形成单步 Token 决策 | CPU 机制；真实生成由项目承接 |
| 23 投机解码 | Draft、Verify、Accept 与 Correct 的精确语义 | 68 真实模型基准 |
| 35 原生 MTP | 模型内部多 Token 候选与连续验证 | 68 真实 MTP/backend 对照 |
| INF-EAGLE | 隐藏表示草稿器与候选树 | 68 外置 drafter 对照 |
| INF-PARALLEL-DRAFTING | 并行块草稿、顺序头与置信度预算 | 68 对应 backend 分支 |
| INF-PROPOSAL | 固定/动态候选预算与净收益 | 68 统一结果口径 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 执行路径：20 →
INF-EXECUTION-DISPATCH，先确认 Attention 数据流，再判断优化候选是否真正命中 backend。 - 生成路径：21 → 23，先固定单步解码和精确验证语义。
- 草稿分支：35 /
INF-EAGLE/INF-PARALLEL-DRAFTING并列学习，再由INF-PROPOSAL统一候选预算和净收益。
Next Steps | 后续衔接
Environment Notes | 环境说明
- Step1–4 默认使用 CPU 建立机制和状态不变量。
- 只有 20 与已登记的真实模型路径使用单卡机制 Profile；合成 logits 或随机矩阵不作为 GPU 性能证据。