Group 2.6: Inference Execution and Generation Acceleration | 2.6:推理执行与生成加速
本组从模型前向的计算执行进入单请求生成,再比较投机式生成的不同候选拓扑。注意力、稠密前馈和专家执行可以按目标选择;学习重点是区分一次前向、单步词元选择和草稿验证。
Group Asset Overview | 组内资产总览
| 页 | 机制职责 | 实验出口 |
|---|---|---|
| 20 FlashAttention / SDPA | 分块 Attention、Online Softmax 与 SDPA 执行对照 | INF-CUDA-MECHANISM 单卡配对实验 |
| INF-EXECUTION-DISPATCH | 融合候选、backend 能力门槛与回退 | 单卡执行路径与 profiler 证据 |
| INF-MOE-EXECUTION | 固定路由下的词元分组、专家批量执行与加权恢复 | CPU 数值与负载账本;单卡专家层矩阵待实测 |
| 21 解码策略 | 从 logits 形成单步 Token 决策 | CPU 机制;真实生成由项目承接 |
| 23 投机解码 | Draft、Verify、Accept 与 Correct 的精确语义 | 68 真实模型基准 |
| 35 原生 MTP | 模型内部多 Token 候选与连续验证 | 本页 Step 5 的 target-only / MTP-1 配对入口;68 用于比较机制选型 |
| INF-EAGLE | 隐藏表示草稿器与候选树 | 68 外置 drafter 对照 |
| INF-PARALLEL-DRAFTING | 并行块草稿、顺序头与置信度预算 | 68 对应 backend 分支 |
| INF-PROPOSAL | 固定/动态候选预算与净收益 | 68 统一结果口径 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 执行路径:注意力选 20,稠密前馈与归一化选
INF-EXECUTION-DISPATCH,专家层在 MoE 路由 后进入INF-MOE-EXECUTION;按计算瓶颈选择,不要求依次完成全部分支。 - 生成路径:21 → 23,先固定单步解码和精确验证语义。
- 草稿分支:35 /
INF-EAGLE/INF-PARALLEL-DRAFTING并列学习,再由INF-PROPOSAL统一候选预算和净收益。
Next Steps | 后续衔接
- 多请求的 KV 状态、动态批次与阶段调度进入 2.7。
- 原生 MTP 先使用 35 的 Step 5检查配对模型与专用后端;比较投机机制的完整收益时进入 68,以实际支持的模型和后端分支为准。
Environment Notes | 环境说明
- Step1–4 默认使用 CPU 建立机制和状态不变量。
- 单卡实验使用已登记的机制 Profile。专家执行比较固定随机权重的真实 SwiGLU 层,形成局部执行证据;合成 logits 或容量公式不代替真实生成与服务性能。
