Skip to content

模型架构与训练(Model Architecture and Training) ​

专题类型:主学习路线 学习目标:解释结构选择怎样改变前向计算、反向依赖与训练状态,并在正确更新的前提下比较质量和资源代价。

注意力头共享、访问窗口、稀疏专家和递推记忆改变模型处理信息的方式,也改变训练时需要保存和计算的内容。从同一个解码器块出发,先追踪结构与历史表示,再沿损失、梯度和参数更新分析训练过程,最后比较重算与搬运是否适合当前负载。

学习路线 ​

从 Task0 建立共同基线,先看词元如何经过解码器形成预测和损失,再分别研究历史读取、前馈计算与记忆表示。需要的前置是张量形状、矩阵乘法和基本 PyTorch 操作,可用Part 02 · 00 PyTorch 热身回补。

首次学习可沿 Task0 → Task1 的注意力与位置基础 → Task2 的稠密前馈 → Task4–6,先完成一个普通 Transformer 的训练理解。潜在注意力、长上下文、混合专家(MoE)和状态空间模型(SSM)按目标深入;Task3 的递推记忆不是开始反向传播的前置。连续衔接见从模型结构到一次训练更新;希望完整研究某一侧时,也可独立阅读模型架构基础专题或反向传播与训练机制基础专题。

Task / 主题本阶段要回答的问题学习入口与验证出口学习顺序主要正文入口
Task0 · 解码器主干与训练起点输入怎样经过模型形成预测,并与目标构成损失?核心:Part 02 · 05 LLaMA3 Block与Part 00 · 12 最小训练接口;项目:Part 02 · 60 Block 稳定性输入表示 → 归一化、注意力、前馈与残差 → 输出分数 → 预测损失架构正文01 · 仅解码器主干
Task1 · 注意力表示、位置与访问范围模型怎样读取历史,哪些位置可以参与当前计算?核心:Part 02 · 04 MHA/GQA与Part 02 · 03 RoPE;扩展:Part 02 · ARCH-MLA 潜在注意力、Part 02 · 44 局部与稀疏注意力;项目:Part 02 · 71 MLA/KV 结构基准/Part 02 · 78 注意力访问模式查询、键、值与头映射 → 位置和因果范围 → 按目标比较历史表示或长上下文访问架构正文04 · 注意力表示
Task2 · 前馈网络、专家容量与稀疏计算每个词元经过哪些参数,怎样扩大容量而不等量增加计算?核心:Part 02 · 02 SwiGLU;扩展:Part 02 · 06 MoE 路由 → Part 02 · 07 负载均衡;项目:Part 02 · 80 MoE 专家并行,跨设备部分按硬件条件进入稠密前馈与门控 → 专家选择 → 容量和溢出 → 负载与通信成本架构正文07 · MLP/FFN
Task3 · SSM、递推状态与混合记忆历史被压入递推状态后,模型保留和检索信息的方式怎样变化?核心:Part 02 · 45 线性注意力与递推状态 → Part 02 · ARCH-HYBRID-MEMORY 混合记忆;项目:Part 02 · 77 长序列记忆架构显式历史 → 递推更新 → 信息压缩与检索 → 混合层的分工架构正文10 · 线性注意力、SSM 与混合记忆
Task4 · 计算图与 Transformer 局部反向损失对参数的梯度怎样算出,局部反向要用到哪些前向中间量?核心:Part 00 · 07 自动求导 → Part 02 · 09 激活与损失反向 → Part 02 · 10 Attention 反向损失与计算图 → 上游梯度和局部反向 → 分支贡献汇合 → 保存状态与梯度核对训练正文02 · 自动求导与 Transformer 反向
Task5 · 损失归约、梯度累积与有效更新微批次的有效目标数不同时,损失怎样加权才能形成正确更新?核心:Part 02 · 11 梯度累积 → Part 02 · TRAIN-MIXED-PRECISION-BACKWARD 混合精度反向 → Part 02 · 12 优化器与调度;扩展:Part 02 · 55 更新动力学目标位置与有效计数 → 损失加权与梯度累积 → 混合精度与跳步 → 优化器更新与学习率推进训练正文03 · 损失归约、梯度累积与有效更新
Task6 · 训练状态与重算卸载取舍保持训练正确时,怎样用额外计算或搬运降低峰值显存?核心:Part 02 · 19 激活检查点/Part 02 · 42 激活卸载 → Part 02 · 43 统一训练内存账本;项目:Part 02 · 73 训练基线 → Part 02 · 76 检查点与卸载对照状态创建与最后使用 → 选择重算或搬运 → 核对梯度和更新 → 比较质量、峰值与时间训练正文05 · 激活检查点与卸载

从解码器基线理解注意力与前馈,按需深入递推记忆,再进入反向、更新与状态取舍

结构选择怎样进入训练比较 ​

Task0 的输入表示、归一化和残差路径说明共同基线;训练闭环把模型输出接到损失。Task1 从注意力表示继续到位置与长上下文,Task2 从稠密前馈继续到MoE。

选定结构后,用结构审计核对配置与实际模块。Task4 解释梯度从哪里来,Task5 再检查各预测目标的损失怎样加权、多个微批次怎样合成一次更新。进入 Task6 前,用训练状态生命周期标出中间量最后被使用的时刻。普通 Transformer 的局部反向练习解释共同方法;MoE 路由或 SSM 递推的梯度仍需结合各自计算定义核对。

改变头结构、专家或记忆方式时,比较的是模型结构候选,需要任务质量与训练预算等条件;保持模型不变、只替换反向实现或重算策略时,才检查同输入下的输出、梯度和更新是否在容差内一致。两种比较分别采用对应的架构证据和训练正确性要求。

扩展与跨专题入口 ​

当前问题进入哪里带回的观察
需要完整研究结构演进或新模型审计模型架构演进模块差异、头结构、访问范围和质量/资源比较
需要深入梯度边界、数值安全或恢复语义反向传播与训练机制梯度来源、成功更新数和状态生命周期
需要用示范、偏好或奖励改变模型行为后训练优化数据、训练目标与独立任务评测
模型结构已确定,需要降低生成和服务成本推理优化请求时间、缓存与调度条件
已定位局部计算,需要改编译或内核实现算子优化实际执行路径、数值和完整调用成本
需要定位整步热点、峰值或多设备通信性能分析/通信与并行时间线、状态重叠和暴露通信

概念回查分别使用架构术语表与训练术语表。线性注意力与状态空间模型(SSM)都可以涉及递推状态,但更新公式与表示能力不同,不能仅因都使用固定大小状态就视为同一种结构。

实验与项目出口 ​

架构实验按架构 Quickstart与架构实验资产表选择环境和输入;梯度与训练状态实验按训练 Quickstart与训练实验资产表进入。运行状态、固定版本和正式结果以各实验条目为准。

比较对象主要验证项目或证据入口
结构声明与模块组成配置和实际模块是否一致,结构收益是否有对应证据Part 02 · 61 模型架构探索;各结构专项见 Task0–3
固定模型的一次有效更新目标位置、损失权重、梯度和更新数是否符合所选训练定义Task4–5 机制页;训练正确性与性能证据
固定训练负载的状态策略质量和更新要求成立后,峰值与时间如何变化Part 02 · 73 训练性能基线与Part 02 · 76 策略对照

Released under the MIT License.