Skip to content

架构问题排查手册 ​

使用本表前,先固定模型、分词器、权重、配置和执行后端的版本,再区分模型声明、模块实例化与真实运行路径。至少保留结构字段、张量形状、目标工作负载、失败样例和成本证据。

从“现象或目标”列选择最接近的一行,先采集最小证据;证据不足时保留为结构假设,不用模型名称或经验补全未知字段。

架构审计跨模块地图:从结构差异进入专项证据

现象或目标先检查什么最小证据机制入口验证或转交入口
配置声明与模块树不一致模型提交版本、远程代码、权重键和实际模块固定版本的配置、模块树、权重形状和加载日志08 代表模型与结构审计Part 02 · 08 配置与结构审计 / Part 02 · 61 模型架构探索
输入或词表变化被误判为主干架构变化分词器、词表、嵌入和权重绑定分词器版本、词表大小、嵌入形状和共享关系02 分词与输入表示Part 02 · 61 模型架构探索
KV 容量高于估算KV 注意力头、单头维度、潜在维度、层数和数据类型逐层表示账本、真实缓存分配和执行路径04 注意力表示演进Part 02 · ARCH-MLA / Part 02 · 71 MLA / KV 结构基准
长度增加后质量骤降RoPE 参数、训练长度、目标长度和可见范围长度阶梯质量、掩码或窗口配置和失败样例05 RoPE 与长上下文位置机制Part 02 · 44 局部与稀疏注意力 / Part 02 · 78 注意力访问模式
深层模型训练不稳定归一化位置、残差顺序、中间维度和门控路径模块顺序、激活与梯度统计、失败步03 归一化演进 / 07 MLP / FFN 演进Part 02 · 60 Transformer 块稳定性
MoE 吞吐、专家负载或容量异常Top-k、专家容量、容量溢出、分发与跨卡交换逐专家负载、丢弃量、All-to-All 载荷和暴露通信09 MoE 与稀疏容量Part 02 · 80 MoE 专家并行 / 通信与并行
混合模型的状态成本或长序列收益不清注意力 / SSM 层分布、递推状态形状和显式检索层分层状态账本、长度阶梯质量、延迟和峰值显存10 线性注意力、SSM 与混合记忆Part 02 · 77 长序列记忆架构
模型卡声称新结构,但实际收益不明声明、实例化和运行三层证据是否一致配置来源、模块树、真实路径、配对质量与成本08 代表模型与结构审计Part 02 · 61 模型架构探索 / 性能优化

Released under the MIT License.