06 Transformer 块与残差主干(Block and Residual Stream)
学习问题
一个块的输入输出形状相同,为什么堆叠很多层后数值仍可能变得不稳定?残差连接把注意力与前馈网络的输出加到已有隐状态上;每次相加的增量、归一化位置与层数共同影响状态和梯度的传播。
核心机制
子层怎样修改已有隐状态
如果每个子层都直接覆盖隐状态,深层模型难以保留已有信息,也更容易出现梯度衰减或放大。残差流让子层学习增量更新,前置归一化则在分支读取主干前控制尺度。
一个前置归一化块包含两次残差更新
设进入第
第二个分支读取的是
残差缩放、分支初始化和额外归一化都在控制增量写入速度。比较块变体时应固定深度、隐藏维度、参数预算和训练批次,再观察稳定性;只跑单个块无法暴露深度累积问题。
| 阶段 | 主干状态变化 | 应观察的量 | 关键约束 |
|---|---|---|---|
| 注意力更新 | h ← h + a | ‖a‖ / ‖h‖、注意力输出范围 | 上下文访问、位置机制、注意力表示 |
| MLP 更新 | h ← h + m | ‖m‖ / ‖h+a‖、门控激活范围 | 通道扩张、门控激活、稠密 FFN 或 MoE |
| 多层堆叠 | 重复两次增量更新 | 层间激活 RMS、梯度范数、非有限值 | 残差缩放、深度、初始化和数值精度 |
选择条件与验证证据
Transformer 块变体要同时检查结构合法性、参数量/FLOPs、激活与梯度尺度、训练稳定性和目标任务质量。残差缩放或额外归一化只有在相同训练口径下,才能形成较强的稳定性证据。
组件到 Transformer 块的映射见 Part 00 · 13,两次残差更新和配置审计分别进入 Part 02 · 05与 Part 02 · 08;多层稳定性证据由 Part 02 · 60承接。
