Group 0D: Transformer Block Dataflow and Component Basics | 0D: Transformer Block 数据流与组件基础

Group Overview | 组概览

一个 Transformer Block 通过 Attention 和 MLP 两个分支更新隐状态，两次残差相加都要求形状对齐。本组先看完整 Block，再分别观察激活、归一化与 Attention 怎样计算输出。

Group Asset Overview | 组内资产总览

页面	要回答的问题	运行时观察什么
13 Block 与残差通路	主路径状态与两次分支增量怎样组合？	相加前后的形状、更新量与多层状态推进
14 激活与门控	非线性与门控怎样进入 MLP？	输出、局部梯度，以及通道扩张后恢复隐维度
15 归一化	统计轴、训练模式和归一化位置改变什么？	均值、方差、有限值与残差统计
16 Attention	查询、键、值和可见性掩码怎样聚合信息？	注意力权重、被屏蔽位置和多头布局

Learning Path | 学习路径

Recommended Order | 推荐顺序

先读 13，确定两个分支及其残差写回位置；14–16 分别展开组件，可以按问题选择，也可依次阅读。组图表示阅读关系，Block 内部的计算顺序见 13。

Connection to Later Topics | 后续专题衔接

接下来要解释的问题	进入位置
组件怎样组合为可运行的模型块	Part 02 模型组件
RMSNorm、SwiGLU、GQA 与残差设计怎样演进	大模型架构演进
反向传播需要保存哪些状态，梯度怎样汇合	反向传播与训练机制
组件的时间、显存与推理状态开销怎样验证	性能分析、推理优化

Environment Notes | 环境说明

使用 BASE-CPU，用小张量比较数据流、输出与局部梯度。