Skip to content

大模型架构演进(LLM Architecture Evolution) ​

专题类型:基础支撑专题 学习目标:判断结构选择怎样改变模型能力、状态表示、资源成本与适用条件。

本专题从仅解码器(Decoder-only)基线出发,依次解释输入表示、Transformer 块、注意力与 KV 表示、归一化与前馈网络、位置与访问范围、MoE 稀疏容量,以及线性注意力、SSM 和混合记忆。

学习路线 ​

以下路线可独立用于完整的结构演进与审计。需要把结构选择接到反向依赖、有效更新和状态策略时,也可选择模型架构与训练的组合阅读顺序。

连续学习时进入架构演进问题链,遇到配置、容量或质量异常时使用架构问题排查手册,术语差异查询专题术语表。

Task / 主题本阶段要回答的问题学习入口与验证出口学习顺序主要正文入口
Task0 · Transformer 块与架构基线词元怎样成为隐状态,并沿 Transformer 块的两次残差更新向前传递?核心:Part 02 · 00 PyTorch 热身 → Part 02 · 05 LLaMA3 Block;项目:Part 02 · 60 Transformer 块稳定性词元表示 → 解码器主干 → 两次残差更新 → 稳定性证据01 仅解码器主干 → 02 分词与输入表示 → 06 Transformer 块与残差主干
Task1 · 注意力表示与 KV 压缩MHA、MQA、GQA 和 MLA 怎样改变 Q/K/V 关系、历史状态大小与解码读取路径?核心:Part 02 · 04 MHA / GQA → Part 02 · ARCH-MLA;项目:Part 02 · 71 MLA / KV 结构基准头关系 → KV 表示 → 历史状态大小 → 解码读取04 注意力表示演进
Task2 · Transformer 块稳定性与通道演进前置归一化、RMSNorm 和门控 FFN 为什么成为现代 Transformer 块的常见组合?核心:Part 02 · 01 RMSNorm → Part 02 · 02 SwiGLU;项目:Part 02 · 60 Transformer 块稳定性归一化位置 → 尺度控制 → 门控通道 → 残差稳定性03 归一化演进 → 07 MLP / FFN 演进
Task3 · 位置、访问范围与长上下文位置怎样进入 Q/K;全局、窗口、局部和稀疏访问分别保留哪些历史信息?核心:Part 02 · 03 RoPE → Part 02 · 44 局部与稀疏注意力;项目:Part 02 · 78 注意力访问模式位置注入 → 访问范围 → 长程覆盖 → 质量与执行代价05 RoPE 与长上下文位置机制
Task4 · MoE 容量扩展与稀疏化怎样扩大总参数容量,同时控制每个词元的激活计算、容量溢出和跨卡代价?核心:Part 02 · 06 MoE 路由 → Part 02 · 07 负载均衡;项目:Part 02 · 80 MoE 专家并行专家容量 → 词元路由 → 负载均衡 → 跨卡交换09 MoE 与稀疏容量
Task5 · 递推状态、SSM 与混合记忆不保存完整词元级历史时,递推状态如何更新;哪些层仍需要注意力的显式检索?核心:Part 02 · 45 线性注意力 → Part 02 · ARCH-HYBRID-MEMORY;项目:Part 02 · 77 长序列记忆架构历史压缩 → 递推状态 → 显式检索层 → 混合记忆10 线性注意力、SSM 与混合记忆
Task6 · 架构审计与选型决策怎样从配置和模块树识别真实结构,并判断创新、代价与适用条件?核心:Part 02 · 08 配置与结构审计;项目:Part 02 · 61 模型架构探索配置声明 → 模块树核对 → 结构差异 → 专项证据 → 选型08 代表模型与结构审计

大模型架构演进学习路线:从 Transformer 块到结构审计

大模型架构演进知识地图:结构维度汇入审计并连接下游验证

扩展与跨专题入口 ​

按需回补 ​

补充主题Notebook 入口建议时机
注意力与掩码基础Part 00 · 16 注意力入门Task0–1;Q/K/V、因果掩码或注意力头关系尚不清楚时
参数量、FLOPs 与 KV 增长Part 01 · 02 参数与 FLOPs → Part 01 · 11 KV Cache 增长Task1、Task6;需要建立结构容量账本时
注意力访存与稀疏计算Part 01 · 04 注意力显存优化 → Part 01 · 25 稀疏计算Task3;需要解释访问模式的硬件与复杂度条件时
MoE 参数与计算Part 01 · 22 MoE 参数与计算Task4;需要区分总参数、激活参数和通信负载时

跨专题入口 ​

本专题解释结构机制;缓存与调度进入推理优化,训练更新与模型适配分别进入反向传播与训练机制和后训练优化,低精度执行与跨卡扩展分别进入量化与压缩和通信与并行,时间、容量与成本由性能分析和性能优化继续验证。

实验与项目出口 ​

首次运行先按实验 Quickstart创建环境,再从实验资产表选择机制页、模型、工作负载、结果路径和证据状态;跨专题 Profile 与隔离关系查询环境资产索引,实际软件版本与硬件快照写入结果 JSON。

证据阶段要回答的问题输出与入口
机制证据组件、状态表示、访问范围或路由行为是否按预期变化?Part 02 架构机制页的 CPU / GPU 结果
专项基准单变量结构候选是否在固定条件下改变稳定性、容量、质量或成本?Task0–5 对应项目;具体 ID 与结果状态见实验资产表
交叉证据MoE、推理缓存或执行路径是否需要真实系统证据?推理、通信、量化和性能专题出口
架构决策声明结构、实际模块和专项证据能否支持采用、继续验证或拒绝?Task6 模型架构审计与架构问题排查手册

Released under the MIT License.