Group 2.10: Project Validation and Engineering Closure | 2.10: 项目验证与工程收口
本组用于承接综合项目、性能对比与训练分析，是 Part 2 的项目收束层。这里不再展开单个方法原理，而是把前面各组的能力收成可比较、可复现、可决策的工程验证入口。
Group Overview | 组概览
这一组把前面各组的机制放回真实 workload，形成后训练与对齐、推理优化与部署、性能优化、大模型架构演进、量化与压缩、通信与并行六条项目链。每个页面只有一个主归属；其他专题只复用其结果和链接。
机制页解释方法，项目页记录证据，专题页组织跨路线阅读。
Project Chains and Stable IDs | 项目链与稳定身份
数字编号用于定位当前文件，语义 ID 用于项目注册、结果 JSON 和跨专题引用。语义 ID 不随文件调号变化；每个项目只有一个主归属，其他专题只复用其机制或证据。机器可读登记见 benchmarks/project_registry.json。
Group Asset Overview | 组内资产总览
项目页交付可追溯产物；基准页在固定 workload 下比较候选；分析页汇总证据并形成选择。表中空白的“项目类型”单元格与上方同类合并阅读。60、78、82 与 83 已提供 CPU 逻辑验证和默认关闭的 GPU/backend 复测入口。
运行环境同时包含硬件、运行方式与依赖。例如“单 GPU · Transformers”表示单卡运行 Transformers；没有对应硬件时可完成 CPU 逻辑验证，但不能将模拟结果解释为真实性能。
| 项目类型 | 项目 | 主要作用 | 主归属与复用 | 运行环境 | Infra 层 |
|---|---|---|---|---|---|
| Project | 62 指令微调项目 | SFT 训练、验证与产物交付 | 主归属：2.3 / 后训练优化；已承接全参—LoRA 对照与历史证据索引 | 单 GPU · Transformers / PEFT | Infra-L3 |
| 64 SFT 数据质量项目 | 数据质量、配比与模板评测 | 主归属：2.3 / 后训练优化 | CPU；可选单 GPU | Infra-L3 | |
| 65 QLoRA 选型项目 | 低资源 SFT 的策略选择与 adapter 交付 | 主归属：2.3 / 后训练优化；量化路线只引用其低比特训练证据 | 单 GPU · Transformers / PEFT | Infra-L1–L3 | |
| 67 量化推理与部署项目 | 量化产物接入 backend 并形成部署结论 | 主归属：2.8 / 量化与压缩；推理优化复用运行结果 | 单 GPU · Transformers / vLLM / SGLang | Infra-L2–L4 | |
| 72 多模型部署对比项目 | 单卡模型、产物与 backend 的部署方案比较 | 主归属：2.6 / 推理优化；部署与异构专题复用 | 单 GPU · Transformers / vLLM / SGLang | Infra-L2–L4 | |
| 82 量化产物评估项目 | 审计量化 artifact、质量门槛与 backend 兼容性 | 主归属：2.8 / 量化 | CPU；可选单 GPU · backend loader | Infra-L1–L3 | |
| 84 DPO 偏好优化项目 | 离线偏好优化训练闭环 | 主归属：2.4 / 后训练优化 | 单 GPU · Transformers / TRL | Infra-L3–L5 | |
| 85 GRPO 组内对齐项目 | 组采样、奖励与在线更新闭环 | 主归属：2.4 / 后训练优化 | 单 GPU · Transformers / TRL | Infra-L3–L5 | |
| Benchmark | 60 Decoder Block 稳定性基准 | 对比 Block 变体的稳定性、质量与成本 | 主归属：2.2 / 大模型架构演进 | CPU · PyTorch；可选单 GPU · Transformers | Infra-L1–L3 |
| 63 LoRA 变体对比 | LoRA 变体与资源代价对照 | 主归属：2.3 / 后训练优化 | 单 GPU · Transformers / PEFT | Infra-L3 | |
| 66 推理性能对比实验 | 统一 workload 下的推理 baseline | 主归属：2.6 / 推理优化；量化项目共享其输出契约 | 单 GPU · vLLM / SGLang | Infra-L2–L4 | |
| 68 投机解码基准 | proposal、verify 与净收益对照 | 主归属：2.7 / 推理优化 | 单 GPU · vLLM / SGLang | Infra-L3–L4 | |
| 69 前缀缓存基准 | Prefix Cache 命中、收益与代价对照 | 主归属：2.7 / 推理优化 | 单 GPU · vLLM / SGLang | Infra-L3–L4 | |
| 70 推理服务调度基准 | 调度策略、队列与尾延迟对照 | 主归属：2.7 / 推理优化 | 单 GPU · vLLM / SGLang | Infra-L3–L5 | |
| 71 MLA / KV Cache 结构基准 | KV 表示、容量账本与 MLA 代价对照 | 主归属：2.2 / 大模型架构演进；推理优化复用容量与运行证据 | 单 GPU · vLLM / SGLang | Infra-L3–L4 | |
| 73 训练性能分析 | 训练 step、显存与吞吐的统一测量 | 主归属：2.5 / 性能优化 | 单 GPU · PyTorch Profiler | Infra-L1–L3 | |
| 76 Activation / Checkpoint / Offload 对比 | 训练显存策略的质量—成本对照 | 主归属：2.5 / 性能优化 | 单 GPU · Transformers | Infra-L1–L3 | |
| 77 长序列记忆架构基准 | 显式 KV、递推状态与混合记忆对照 | 主归属：2.2 / 大模型架构演进 | 单 GPU（可选）· Transformers | Infra-L2–L4 | |
| 78 Attention 访问模式基准 | 全局、窗口、块稀疏与选择性稀疏访问的覆盖—成本对照 | 主归属：2.2 / 大模型架构演进 | CPU · NumPy；可选单 GPU · PyTorch SDPA | Infra-L1–L2 | |
| 79 训练状态并行基准 | DDP / FSDP / ZeRO 的状态驻留、通信与扩展效率比较 | 主归属：2.9 / 通信与并行 | 多 GPU · PyTorch Distributed / Accelerate | Infra-L1–L3 | |
| 模型内部并行基准 | PP / TP / CP 与 Device Mesh 的布局、容量和通信比较 | 主归属：2.9 / 通信与并行 | CPU；可选多 GPU · PyTorch Distributed / DeviceMesh | Infra-L1–L4 | |
| 80 MoE 专家并行 benchmark | 路由、overflow、dispatch 与通信对照 | 主归属：2.9 / 通信与并行；大模型架构演进专题引用 | 多 GPU · PyTorch Distributed / MoE | Infra-L2–L4 | |
| 83 量化 Serving Profile 基准 | 同一量化 artifact 在 latency / balanced / throughput 下的 SLO 对照 | 主归属：2.8 / 量化 | CPU；可选单 GPU · serving backend | Infra-L2–L4 | |
| 86 DPO 在线基准 | 在线对齐的质量、成本与漂移对照 | 主归属：2.4 / 后训练优化 | 单 GPU · 真实 backend | Infra-L3–L5 | |
| Analysis | 61 架构验证项目 | 汇总架构证据并形成选型建议 | 主归属：2.2 / 大模型架构演进 | 单 GPU · Transformers | Infra-L3 |
| 74 性能分析驱动的端到端优化 | 将 profile 证据转为端到端优化结论 | 主归属：2.5 / 性能优化 | 单 GPU · PyTorch Profiler / backend | Infra-L1–L5 | |
| 75 显存预算压缩项目 | 在显存、吞吐与质量约束下选择策略 | 主归属：2.5 / 性能优化 | 单 GPU · Transformers | Infra-L1–L5 | |
| 81 分布式推理逻辑验证 | 汇总服务形态、通信与扩展证据 | 主归属：2.9 / 通信与并行 | 多 GPU · PyTorch Distributed | Infra-L3–L5 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
- 后训练与对齐： 64 -> 62 -> 63 / 65；完成 SFT 交付后进入 84 -> 85 -> 86。
- 推理优化与部署： 66 -> 68 / 69 / 70 -> 72。67 是量化部署分支，应以 66 的浮点 baseline 为起点。
- 量化： 40 / 41 / 54 / QUANT-MIXED-BIT -> 82 -> 66 -> 67 -> 83。
- 性能优化（训练侧）： 73 -> 76 -> 75 -> 74。
- 性能优化（跨 workload 复用）：后训练复用 62 / 65 / 84–86 的训练、rollout、质量与 artifact 证据；推理复用 66 / 67 / 70 / 83 的容量、延迟、backend 与量化证据。项目主归属保持不变。
- 大模型架构演进：完成机制页后进入 60 比较 Block 变体；Attention 访问范围进入 78，KV 表示与长序列记忆按需进入 71 / 77，由 61 汇总审计。
- 通信与并行：按目标选择独立出口——训练状态进入 79，PP / TP / CP 进入 PAR-MODEL-INTERNAL，MoE 专家并行进入 80，分布式推理进入 81。
Next Steps | 后续衔接
- 做完训练、推理或分析项目后，可回看 2.3、2.5、2.6、2.9 复盘对应能力来源。
- 如果要继续加深工程化能力，可沿专题入口和后续项目线继续展开：推理侧回看
38/39，显存侧回看19/42/43，通信侧回看48/49，对齐侧回看51/52。
Environment Notes | 环境说明
- 默认按
CPU-first阅读，先完成项目的逻辑和 correctness 验证，再按需要进入真实环境。 - 这里只写组级统一前提，不点到具体节号。
- 项目中的性能分析、分布式或部署验证，若需要 GPU / 多卡 / 工具链支持，以单页说明为准。