2.1 解码器基础组件与注意力 | Decoder Components and Attention Basics
本组建立现代解码器的组件链：文本怎样变成模型状态，归一化和门控前馈网络怎样改变通道表示，位置怎样进入查询与键，以及多头注意力怎样组织查询头与 KV 头。这里先固定组件的输入、输出和状态语义；2.2 再讨论模型块、MoE 和长序列记忆结构。
组内资产
| 页面 | 主要问题 | 机制出口 |
|---|---|---|
| Part 02 · 00 PyTorch 热身 | 词元编号怎样变成连续表示，形状与梯度契约怎样建立？ | 输入状态、词嵌入与基础梯度契约 |
| Part 02 · 01 RMSNorm | LayerNorm 为什么演进为 RMSNorm，尺度控制保留了什么？ | 归一化对象、数值路径与参数账本 |
| Part 02 · 02 SwiGLU | 单路 FFN 为什么演进为门控 MLP，容量怎样重新对齐？ | 门控分支、回投维度与参数容量 |
| Part 02 · 03 RoPE | 相对位置怎样进入查询与键，长度外推受什么约束？ | 旋转配对、基频与缩放边界 |
| Part 02 · 04 MHA / MQA / GQA | 查询头与 KV 头怎样映射，状态表示怎样变化？ | 注意力表示、KV 共享与容量账本 |
阅读顺序
先阅读 00 建立输入状态和张量契约。01 与 02 是模型块内部两条并列通道；03 是注意力的位置前置，随后由 04 串起查询头、KV 头和历史状态。需要继续比较潜在 KV 表示时，应先进入 2.2 的 ARCH-MLA，真实模型与后端证据再进入项目 71。
text
00 输入状态
├─ 01 归一化 ─┐
├─ 02 门控 FFN ├─→ 2.2 模型块与架构分支
└─ 03 位置编码 → 04 注意力表示 ─┘后续衔接
- 进入 2.2 模型架构，把组件组装为模型块，并学习 MoE、访问范围和混合记忆。
- 按专题学习时，对应大模型架构演进的 Task0–Task3；真实 KV 生命周期、调度和服务性能由推理优化专题继续承接。
环境
本组以 CPU 机制验证为主，不把局部算子计时写成架构性能结论。后续 44、45、ARCH-MLA 和 ARCH-HYBRID-MEMORY 的单卡实验统一使用大模型架构演进专题的 实验 Quickstart 与 实验资产表。