Group 0D: Training and Model Intuition | 0D: 训练与模型直觉
本组把模型构建延伸到训练循环、激活函数、归一化和 Attention 直觉，是 Part 0 里从“模型代码”走向“模型结构”的关键一层。对 Part 2 来说，这一组最重要的作用，是在 0C 把接口看顺之后，继续把“模型怎么跑起来”到“模型为什么这样设计”这条线串起来。
Group Overview | 组概览
这一组按“训练闭环 -> 非线性 -> 稳定性 -> attention”的顺序推进，帮助你从模型接口继续往内部结构和行为理由走。你可以把它理解成：0C 负责把模型接起来，0D 负责把模型为什么这样长讲明白。
对 Part 2 来说，这一组先补的是训练、激活、归一化和 Attention 之间的关系链：loss.backward() / optimizer.step()、激活函数的输入输出形状、归一化层的统计维度、Attention 的 QKV 形状、mask 以及 shape contract。后面你会在 RMSNorm、SwiGLU、RoPE 和 Attention 页面里反复见到这些概念，所以这里更像是进入代码前的预演。
如果把 0C 看成接口层，这里就是结构层的第一张地图。
Group Asset Overview | 组内资产总览
| 页 | 核心职责 | Q 数 | 验证数 | 覆盖 Q | 定位 |
|---|---|---|---|---|---|
| 13 | 最小训练循环与保存骨架 | 6 | 6 | Q1, Q2, Q3, Q4, Q5, Q6 | 起步页 |
| 14 | 激活函数与分布控制 | 6 | 6 | Q1, Q2, Q3, Q4, Q5, Q6 | 主线页 |
| 15 | 归一化、统计稳定性与训练动态 | 6 | 6 | Q1, Q2, Q3, Q4, Q5, Q6 | 核心页 |
| 16 | Attention、mask 与 shape contract | 8 | 8 | Q1, Q2, Q3, Q4, Q5, Q6, Q7, Q8 | 收口页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Part 2 重点 | Part 2 Focus
- 13：先补训练闭环、保存骨架和最小调试读法，解决“训练代码怎么跑起来”的问题；后面做 SFT 或监督微调时，这一页的顺序感会直接用上。
- 14：先补激活函数和输出分布，解决“非线性为什么会影响训练”的问题。
- 15：先补归一化、统计维度和稳定性，解决“为什么要做 RMSNorm / LayerNorm 类处理”的问题。
- 16：先补 Attention、mask 和 shape contract，解决“QKV 和注意力矩阵怎么对齐”的问题；后面进入 Transformer、LLM 和 SFT 的模型结构页时，这一节就是最常回看的结构锚点。
Next Steps | 后续衔接
- 看完本组后，继续进入 0E，把 profiling、显存、调试和协作工作流补齐；如果在 Part 2 里已经开始处理训练稳定性问题，这一组会是最常回看的前置之一。
- 如果你想先把学习顺序记成一句话，可以把它记成：0C 先看代码怎么接，0D 再看模型为什么这么长。
Environment Notes | 环境说明
- 默认按
CPU-first阅读，优先把训练闭环和数值直觉看懂。 - 这里只写组级统一前提，不点到具体节号。
- 少数页面如需
GPU optional，以后续单页说明为准。