Skip to content

Group 2.10: Project Validation and Engineering Closure | 2.10: 项目验证与工程收口 ​

本组用于承接综合项目、性能对比与训练分析,是 Part 2 的项目收束层。这里不再展开单个方法原理,而是把前面各组的能力收成可比较、可复现、可决策的工程验证入口。

Group Overview | 组概览 ​

这一组把前面各组的机制放回真实 workload,形成后训练与对齐、推理优化与部署、性能优化、大模型架构演进、量化与压缩、通信与并行六条项目链。每个页面只有一个主归属;其他专题只复用其结果和链接。

项目资产之间的承接关系

Project Chains and Stable IDs | 项目链与稳定身份 ​

数字编号用于定位当前文件,语义 ID 用于项目注册、结果 JSON 和跨专题引用。语义 ID 不随文件调号变化;每个项目只有一个主归属,其他专题只复用其机制或证据。机器可读登记见 benchmarks/project_registry.json。

项目链推荐顺序(语义 ID)主归属
大模型架构演进60 ARCH-BLOCK-STABILITY → 78 ARCH-ATTENTION-ACCESS → 71 ARCH-MLA-KV → 77 ARCH-LONG-SEQUENCE-MEMORY → 61 ARCH-MODEL-AUDIT大模型架构演进
后训练优化64 PT-SFT-DATA-QUALITY → 63 PT-LORA-VARIANTS / 65 PT-QLORA-SELECTION → 62 PT-SFT-DELIVERY → 84 PT-DPO-OFFLINE / 85 PT-GRPO-GROUPWISE → 86 PT-POST-TRAINING-LIFECYCLE后训练优化
推理优化66 INF-FLOAT-BASELINE → 68 INF-SPECULATIVE-BENCH / 69 INF-PREFIX-CACHE / 70 INF-SERVING-SCHEDULER → 72 INF-SINGLE-GPU-DEPLOY推理优化
性能优化73 PERF-TRAINING-BASELINE 建立基线;按瓶颈选择 75 PERF-OPTIMIZER-PATH 或 76 PERF-MEMORY-STRATEGY(含预算敏感性);74 PERF-PROFILING-CLOSURE核对固定训练条件与剖析结果性能优化
通信与并行79 PAR-TRAINING-STATE;87 PAR-MODEL-INTERNAL;80 PAR-MOE-EXPERT;81 PAR-DISTRIBUTED-INFERENCE通信与并行
量化与压缩量化:82 QUANT-ARTIFACT-GATE → 67 QUANT-INFERENCE-DEPLOY → 83 QUANT-SERVING-PROFILE
蒸馏:88 DISTILL-STUDENT-DELIVERY
量化与压缩

后训练项目按实际输入选择阅读顺序:64 先判断数据能否进入训练,63 或 65 再选择参数更新方案,62 负责训练、恢复与产物交付。完成 SFT 基线后,84 的离线偏好优化与 85 的在线奖励优化是两个并列候选分支;86 检查策略版本、产物哈希和可用恢复状态,通过后保留候选供后续任务评测。

需要继续比较完整流程时,可进入 Part 05 后训练综合项目或性能优化综合项目。这两个项目分别固定自己的模型、数据或工作负载,独立测量候选;本组结果用于学习和背景参考。

Group Asset Overview | 组内资产总览 ​

项目页交付可追溯产物,基准页在固定工作负载下比较候选,分析页汇总证据并形成选择。“运行环境”同时说明硬件与执行栈;缺少对应硬件时只能完成 CPU 逻辑验证,不能把模拟结果解释为真实性能。

项目类型项目主要作用主归属与复用运行环境Infra 层
Project64 SFT 数据质量项目判断数据、切分、模板与监督目标能否进入训练主归属:2.4 / 后训练优化CPU · Datasets / tokenizerInfra-L3
65 QLoRA 选型项目在显存受限时选择低比特基座与适配器方案主归属:2.4 / 后训练优化;量化路线只引用其低比特训练证据单 GPU · Transformers / PEFTInfra-L1–L3
62 指令微调项目按选定方案完成 SFT 训练、恢复、评测与产物交付主归属:2.4 / 后训练优化;消费 64 与 63/65 的上游报告单 GPU · Transformers / PEFTInfra-L3
67 量化推理与部署项目量化产物接入 backend 并形成部署结论主归属:2.8 / 量化与压缩;推理优化复用运行结果单 GPU · Transformers / vLLM / SGLangInfra-L2–L4
72 多模型部署对比项目单卡模型、产物与 backend 的部署方案比较主归属:2.6 / 推理优化;部署与异构专题复用单 GPU · Transformers / vLLM / SGLangInfra-L2–L4
82 量化产物评估项目审计量化 artifact、质量门槛与 backend 兼容性主归属:2.8 / 量化CPU;可选单 GPU · backend loaderInfra-L1–L3
88 蒸馏学生交付项目对比学生基线、固定轨迹 KD 与 on-policy 蒸馏,并审计学生产物和部署收益主归属:2.8 / 量化与压缩;后训练优化复用教师反馈机制CPU 逻辑验证;单 GPU · Transformers / TRLInfra-L1–L4
84 DPO 偏好优化项目从 SFT 基线产生并评测离线偏好优化候选主归属:2.5 / 偏好优化与对齐;与 85 并列单 GPU · Transformers / TRLInfra-L3–L5
85 GRPO 组内对齐项目从 SFT 基线产生并评测在线奖励优化候选主归属:2.5 / 偏好优化与对齐;与 84 并列单 GPU · Transformers / TRLInfra-L3–L5
Qualification86 在线后训练生命周期与恢复检查候选来源、文件哈希与可用恢复状态,保存待评测清单主归属:2.5 / 偏好优化与对齐;消费 84 或 85 的候选结果CPU / 单机状态回放;多工作进程扩展Infra-L3–L5
Benchmark60 Decoder Block 稳定性基准对比 Block 变体的稳定性、质量与成本主归属:2.2 / 大模型架构演进CPU · PyTorch;可选单 GPU · TransformersInfra-L1–L3
63 LoRA 变体对比在固定任务与预算下比较更新范围、秩和资源代价主归属:2.4 / 后训练优化;为 62 提供选型报告单 GPU · Transformers / PEFTInfra-L3
66 推理性能对比实验统一 workload 下的推理 baseline主归属:2.6 / 推理优化;量化项目共享其输出契约单 GPU · vLLM / SGLangInfra-L2–L4
68 投机解码基准proposal、verify 与净收益对照主归属:2.7 / 推理优化单 GPU · vLLM / SGLangInfra-L3–L4
69 前缀缓存基准Prefix Cache 命中、收益与代价对照主归属:2.7 / 推理优化单 GPU · vLLM / SGLangInfra-L3–L4
70 推理服务调度基准调度策略、队列与尾延迟对照主归属:2.7 / 推理优化单 GPU · vLLM / SGLangInfra-L3–L5
71 MLA / KV Cache 结构基准KV 表示、容量账本与 MLA 代价对照主归属:2.2 / 大模型架构演进;推理优化复用容量与运行证据单 GPU · vLLM / SGLangInfra-L3–L4
73 训练性能分析训练 step、显存与吞吐的统一测量主归属:2.3 / 性能优化单 GPU · PyTorch ProfilerInfra-L1–L3
75 AdamW 执行路径基准固定训练条件下比较单张量、foreach 与 fused 更新路径主归属:2.3 / 性能优化单 GPU · PyTorchInfra-L1–L2
76 Activation / Checkpoint / Offload 对比训练显存策略的质量—成本对照主归属:2.3 / 性能优化单 GPU · TransformersInfra-L1–L3
77 长序列记忆架构基准显式 KV、递推状态与混合记忆对照主归属:2.2 / 大模型架构演进单 GPU(可选)· TransformersInfra-L2–L4
78 Attention 访问模式基准全局、窗口、块稀疏与选择性稀疏访问的覆盖—成本对照主归属:2.2 / 大模型架构演进CPU · NumPy;可选单 GPU · PyTorch SDPAInfra-L1–L2
79 训练状态并行基准DDP / FSDP / ZeRO 的状态驻留、通信与扩展效率比较主归属:2.9 / 通信与并行多 GPU · PyTorch Distributed / AccelerateInfra-L1–L3
87 模型内部并行基准PP / TP / CP 与 Device Mesh 的布局、容量和通信比较主归属:2.9 / 通信与并行CPU;可选多 GPU · PyTorch Distributed / DeviceMeshInfra-L1–L4
80 MoE 专家并行 benchmark路由、overflow、dispatch 与通信对照主归属:2.9 / 通信与并行;大模型架构演进专题引用多 GPU · PyTorch Distributed / MoEInfra-L2–L4
83 量化 Serving Profile 基准同一量化 artifact 在 latency / balanced / throughput 下的 SLO 对照主归属:2.8 / 量化CPU;可选单 GPU · serving backendInfra-L2–L4
Analysis61 架构验证项目汇总架构证据并形成选型建议主归属:2.2 / 大模型架构演进单 GPU · TransformersInfra-L3
74 性能剖析与训练结果复核核对固定训练配置及激活显存专项的结果和剖析记录主归属:2.3 / 性能优化单 GPU · PyTorch Profiler / backendInfra-L1–L5
81 分布式推理逻辑验证汇总服务形态、通信与扩展证据主归属:2.9 / 通信与并行多 GPU · PyTorch DistributedInfra-L3–L5

Learning Path | 学习路径 ​

先在“项目链与稳定身份”中选择目标路线,再按箭头完成上游报告、候选实验和最终采用判断。项目页需要补机制时,分别回到反向传播与训练控制、监督微调与参数适配、偏好优化与对齐、推理执行、服务策略、量化或通信并行;跨专题复用项目结果时不改变项目主归属。

Environment Notes | 环境说明 ​

  • 默认先完成 CPU 逻辑与正确性验证,再按单页说明进入真实环境。
  • 项目中的性能分析、分布式或部署验证,若需要 GPU / 多卡 / 工具链支持,以单页说明为准。

Released under the MIT License.