09 MoE 与稀疏容量(MoE and Sparse Capacity)
学习问题
给每个词元都使用更宽的前馈网络,会同时增加参数量和计算。混合专家(Mixture of Experts,MoE)改为保留多套前馈参数,由路由器为词元选择其中一部分专家,再合并它们的输出。总参数容量与每个词元实际使用的参数量因此分开,路由和执行也增加了新成本。
核心机制
总参数量与单词元计算怎样分开
稠密 FFN 让所有词元使用同一组参数,模型越宽,每个词元的成本越高。MoE 通过稀疏激活增加总参数,但能否获得收益取决于路由质量、专家容量和系统执行是否匹配。
选择、容量与结果合并
Top-
例如
共享专家为词元提供公共计算分支;细粒度专家把单个专家做小,改变组合空间;均衡机制则调整路由分布,避免少数专家长期过载。使用额外均衡损失还是其他调节方式,会影响主任务与负载的取舍。专家分布到不同设备后,还要交换各自负责的词元;All-to-All 指参与者向其他参与者发送并接收各自数据的通信方式,不是全部数据简单复制到每张卡。
| 环节 | 机制问题 | 失败表现 |
|---|---|---|
| 路由器 / Top-k | 哪些专家接收当前词元 | 路由塌缩、专家长期闲置 |
| 专家容量 / 容量溢出 | 单个专家最多接收多少词元 | 词元丢弃、回退或排队 |
| 分发 / 合并 | 词元如何发送并回收结果 | All-to-All 暴露、重排开销 |
| 负载均衡目标 | 如何约束专家利用率 | 辅助损失干扰主任务或约束不足 |
选择条件与验证证据
评估 MoE 至少记录 Top-k、专家数、容量因子、容量溢出、专家负载分布、分发字节数、通信暴露时间与任务质量。仅报告总参数量或理论激活参数,无法判断真实吞吐和稳定性。
总参数与激活计算先由 Part 01 · 22建立账本,路由、容量和负载分布由 Part 02 · 06和 Part 02 · 07验证;分发、合并与真实多卡证据分别进入 Part 02 · 46和 Part 02 · 80。
