Skip to content

Group 2.6: Inference Execution and Generation Acceleration | 2.6:推理执行与生成加速 ​

本组从模型前向的计算执行进入单请求生成,再比较投机式生成的不同候选拓扑。注意力、稠密前馈和专家执行可以按目标选择;学习重点是区分一次前向、单步词元选择和草稿验证。

Group Asset Overview | 组内资产总览 ​

页机制职责实验出口
20 FlashAttention / SDPA分块 Attention、Online Softmax 与 SDPA 执行对照INF-CUDA-MECHANISM 单卡配对实验
INF-EXECUTION-DISPATCH融合候选、backend 能力门槛与回退单卡执行路径与 profiler 证据
INF-MOE-EXECUTION固定路由下的词元分组、专家批量执行与加权恢复CPU 数值与负载账本;单卡专家层矩阵待实测
21 解码策略从 logits 形成单步 Token 决策CPU 机制;真实生成由项目承接
23 投机解码Draft、Verify、Accept 与 Correct 的精确语义68 真实模型基准
35 原生 MTP模型内部多 Token 候选与连续验证本页 Step 5 的 target-only / MTP-1 配对入口;68 用于比较机制选型
INF-EAGLE隐藏表示草稿器与候选树68 外置 drafter 对照
INF-PARALLEL-DRAFTING并行块草稿、顺序头与置信度预算68 对应 backend 分支
INF-PROPOSAL固定/动态候选预算与净收益68 统一结果口径

Learning Path | 学习路径 ​

  • 执行路径:注意力选 20,稠密前馈与归一化选 INF-EXECUTION-DISPATCH,专家层在 MoE 路由 后进入 INF-MOE-EXECUTION;按计算瓶颈选择,不要求依次完成全部分支。
  • 生成路径:21 → 23,先固定单步解码和精确验证语义。
  • 草稿分支:35 / INF-EAGLE / INF-PARALLEL-DRAFTING 并列学习,再由 INF-PROPOSAL 统一候选预算和净收益。

Next Steps | 后续衔接 ​

  • 多请求的 KV 状态、动态批次与阶段调度进入 2.7。
  • 原生 MTP 先使用 35 的 Step 5检查配对模型与专用后端;比较投机机制的完整收益时进入 68,以实际支持的模型和后端分支为准。

Environment Notes | 环境说明 ​

  • Step1–4 默认使用 CPU 建立机制和状态不变量。
  • 单卡实验使用已登记的机制 Profile。专家执行比较固定随机权重的真实 SwiGLU 层,形成局部执行证据;合成 logits 或容量公式不代替真实生成与服务性能。

Released under the MIT License.