Skip to content

Group 2.2: Model Architecture | 2.2: 模型架构

本组解决“怎么把单个算子组装成完整模型”的问题,重点是 block、router 和结构技巧。

Group Overview | 组概览

这一组先把模型组装和 MoE 的核心结构讲清楚,是连接基础算子和训练技术的中间层。阅读顺序和组内资产见下表,先看 05,再进入 06-08。

Group Asset Overview | 组内资产总览

职责作用定位
05组装 LLaMA3 Block 的前向链路主线页
06看懂 MoE Router 的路由决策主线页
07理解负载均衡损失的作用主线页
08补充结构技巧和工程变体扩展页

Learning Path | 学习路径

  • 先看 05 -> 06 -> 07 -> 08,把模型组装和 MoE 的核心结构立住。

Next Steps | 后续衔接

  • 看完本组后,继续进入 2.3,把模型结构接到微调、训练和闭环实验上。

Environment Notes | 环境说明

  • 默认按 CPU-first 阅读,优先把结构关系看懂。
  • 这里只写组级统一前提,不点到具体节号。
  • 少数页面如需 GPU optional,以后续单页说明为准。

Released under the MIT License.