模型架构与训练(Model Architecture and Training)
专题类型:主学习路线 学习目标:解释结构选择怎样改变前向计算、反向依赖与训练状态,并在正确更新的前提下比较质量和资源代价。
注意力头共享、访问窗口、稀疏专家和递推记忆改变模型处理信息的方式,也改变训练时需要保存和计算的内容。从同一个解码器块出发,先追踪结构与历史表示,再沿损失、梯度和参数更新分析训练过程,最后比较重算与搬运是否适合当前负载。
学习路线
从 Task0 建立共同基线,先看词元如何经过解码器形成预测和损失,再分别研究历史读取、前馈计算与记忆表示。需要的前置是张量形状、矩阵乘法和基本 PyTorch 操作,可用Part 02 · 00 PyTorch 热身回补。
首次学习可沿 Task0 → Task1 的注意力与位置基础 → Task2 的稠密前馈 → Task4–6,先完成一个普通 Transformer 的训练理解。潜在注意力、长上下文、混合专家(MoE)和状态空间模型(SSM)按目标深入;Task3 的递推记忆不是开始反向传播的前置。连续衔接见从模型结构到一次训练更新;希望完整研究某一侧时,也可独立阅读模型架构基础专题或反向传播与训练机制基础专题。
结构选择怎样进入训练比较
Task0 的输入表示、归一化和残差路径说明共同基线;训练闭环把模型输出接到损失。Task1 从注意力表示继续到位置与长上下文,Task2 从稠密前馈继续到MoE。
选定结构后,用结构审计核对配置与实际模块。Task4 解释梯度从哪里来,Task5 再检查各预测目标的损失怎样加权、多个微批次怎样合成一次更新。进入 Task6 前,用训练状态生命周期标出中间量最后被使用的时刻。普通 Transformer 的局部反向练习解释共同方法;MoE 路由或 SSM 递推的梯度仍需结合各自计算定义核对。
改变头结构、专家或记忆方式时,比较的是模型结构候选,需要任务质量与训练预算等条件;保持模型不变、只替换反向实现或重算策略时,才检查同输入下的输出、梯度和更新是否在容差内一致。两种比较分别采用对应的架构证据和训练正确性要求。
扩展与跨专题入口
| 当前问题 | 进入哪里 | 带回的观察 |
|---|---|---|
| 需要完整研究结构演进或新模型审计 | 模型架构演进 | 模块差异、头结构、访问范围和质量/资源比较 |
| 需要深入梯度边界、数值安全或恢复语义 | 反向传播与训练机制 | 梯度来源、成功更新数和状态生命周期 |
| 需要用示范、偏好或奖励改变模型行为 | 后训练优化 | 数据、训练目标与独立任务评测 |
| 模型结构已确定,需要降低生成和服务成本 | 推理优化 | 请求时间、缓存与调度条件 |
| 已定位局部计算,需要改编译或内核实现 | 算子优化 | 实际执行路径、数值和完整调用成本 |
| 需要定位整步热点、峰值或多设备通信 | 性能分析/通信与并行 | 时间线、状态重叠和暴露通信 |
概念回查分别使用架构术语表与训练术语表。线性注意力与状态空间模型(SSM)都可以涉及递推状态,但更新公式与表示能力不同,不能仅因都使用固定大小状态就视为同一种结构。
实验与项目出口
架构实验按架构 Quickstart与架构实验资产表选择环境和输入;梯度与训练状态实验按训练 Quickstart与训练实验资产表进入。运行状态、固定版本和正式结果以各实验条目为准。
| 比较对象 | 主要验证 | 项目或证据入口 |
|---|---|---|
| 结构声明与模块组成 | 配置和实际模块是否一致,结构收益是否有对应证据 | Part 02 · 61 模型架构探索;各结构专项见 Task0–3 |
| 固定模型的一次有效更新 | 目标位置、损失权重、梯度和更新数是否符合所选训练定义 | Task4–5 机制页;训练正确性与性能证据 |
| 固定训练负载的状态策略 | 质量和更新要求成立后,峰值与时间如何变化 | Part 02 · 73 训练性能基线与Part 02 · 76 策略对照 |
