Group 2.2: Model Architecture | 2.2: 模型架构
本组解决“怎么把单个算子组装成完整模型”的问题,重点是 block、router 和结构技巧。
Group Overview | 组概览
这一组先把模型组装和 MoE 的核心结构讲清楚,是连接基础算子和训练技术的中间层。阅读顺序和组内资产见下表,先看 05,再进入 06-08。
Group Asset Overview | 组内资产总览
| 页 | 职责作用 | 定位 |
|---|---|---|
| 05 | 组装 LLaMA3 Block 的前向链路 | 主线页 |
| 06 | 看懂 MoE Router 的路由决策 | 主线页 |
| 07 | 理解负载均衡损失的作用 | 主线页 |
| 08 | 补充结构技巧和工程变体 | 扩展页 |
Learning Path | 学习路径
Recommended Order | 推荐顺序
Next Steps | 后续衔接
- 看完本组后,继续进入 2.3,把模型结构接到微调、训练和闭环实验上。
Environment Notes | 环境说明
- 默认按
CPU-first阅读,优先把结构关系看懂。 - 这里只写组级统一前提,不点到具体节号。
- 少数页面如需
GPU optional,以后续单页说明为准。
