2.2 模型架构 | Model Architecture
本组把 2.1 的组件放回完整模型结构，并沿三条分支展开：模型块与配置、MoE 容量、长序列记忆。机制页先回答结构如何工作，项目页再固定真实模型和工作负载形成质量—成本证据。
机制资产
| 页面 | 主要问题 | 所属分支 |
|---|---|---|
| Part 02 · 05 解码器块 | 归一化、注意力、前馈网络与残差怎样形成一个可堆叠模型块？ | 模型块主干 |
| Part 02 · 06 MoE 路由器 | Top-K 候选怎样形成稀疏专家路径，容量为什么会改变真实执行？ | MoE 容量 |
| Part 02 · 07 MoE 负载均衡 | 路由偏好怎样形成负载不均，训练信号怎样反馈给路由器？ | MoE 容量 |
| Part 02 · 08 配置与参数归属 | 配置声明、参数共享和模块实例怎样核对？ | 跨分支审计入口 |
| Part 02 · 44 局部、窗口与稀疏注意力 | 改变可访问范围会怎样影响连接量和远距离传播？ | 长序列访问 |
| Part 02 · 45 线性注意力与递推状态 | 显式历史和固定递推状态的增长规律有何不同？ | 长序列记忆 |
| Part 02 · ARCH-MLA 多头潜在注意力 | 减少 KV 头与压缩历史表示有什么本质差异？ | 注意力表示 |
| Part 02 · ARCH-HYBRID-MEMORY 混合记忆 | 注意力、SSM 与混合层计划怎样分配记忆职责？ | 长序列记忆 |
机制学习路径
- 模型块与审计： 05 → 08。先确认残差主干和组件位置，再核对配置声明、参数身份与实际模块。
- MoE 容量： 05 → 06 → 07。路由器先产生候选，容量决定接纳集合，负载反馈再影响训练稳定性；多卡分发与集合通信不在本组重复展开。
- 注意力表示与访问： 04 → ARCH-MLA；03 → 44。前一条改变保存什么状态，后一条改变历史中哪些位置可见。
- 递推与混合记忆： 44 → 45 → ARCH-HYBRID-MEMORY。先理解有限访问范围，再比较固定状态和显式历史，最后进入层级混合。
项目出口
| 项目 | 消费的机制证据 | 新增的项目证据 |
|---|---|---|
| Part 02 · 60 模型块稳定性 | 01、02、05、08 | 固定模型下的稳定性、质量与成本 |
| Part 02 · 78 注意力访问模式 | 03、44 | 长程覆盖、真实质量与后端能力 |
| Part 02 · 71 MLA 与 KV 表示 | 04、ARCH-MLA | 真实 MLA 模型、KV 容量、重建与后端证据 |
| Part 02 · 77 长序列记忆架构 | 45、ARCH-HYBRID-MEMORY | 长度阶梯上的质量、状态与成本 |
| Part 02 · 61 模型架构审计 | 前述项目的稳定结果引用 | 声明、实例化、运行证据与采用判断 |
| Part 02 · 80 MoE 专家并行 | 06、07 | 容量、溢出、分发、合并与多卡通信；主归属通信与并行 |
环境与验证
00–08 的核心机制先在 CPU 上完成。44、45、ARCH-MLA 与 ARCH-HYBRID-MEMORY 的单卡机制实验按专题 实验资产表 的顺序执行，并使用同一 ARCH-CUDA-MECHANISM Quickstart。项目页与 Serving、多卡环境独立，不向机制环境追加后端依赖。