大模型架构演进专题术语表

全教程写作遵循术语表与中英文写作规范。本表只解释架构语境中容易混淆的机制身份；代码标识符、配置键、模型名和结果 JSON 字段保留原始英文。

中文主称	英文 / 缩写	本专题含义	容易混淆之处	学习入口
仅解码器主干	Decoder-only backbone	由因果解码器块堆叠形成的语言模型主干	不等于一次生成请求的解码阶段	01 仅解码器主干
主状态	hidden state	词元在各层之间传递并被残差更新的表示	不等于 KV Cache 或递推状态	06 Transformer 块与残差主干
前置归一化	Pre-Norm	在注意力或 MLP 更新前归一化主状态	RMSNorm 是归一化形式，Pre-Norm 是放置位置	03 归一化演进
残差主干	residual stream	跨层保留并累积子层更新的主状态路径	不是 KV Cache 的残留窗口	06 Transformer 块与残差主干
多头注意力	MHA	Q、K、V 使用相同数量的注意力头	与多查询注意力、分组查询注意力的 KV 共享方式不同	04 注意力演进
多查询注意力	MQA	多个 Q 注意力头共享一组 K/V 注意力头	不是把所有注意力头合并成一个	04 注意力演进
分组查询注意力	GQA	多组 Q 注意力头分别共享 K/V 注意力头	共享粒度介于 MHA 与 MQA 之间	04 注意力演进
多头潜在注意力	MLA	将历史 K/V 表示压缩为潜在状态，并按需要重建计算表示	不等于普通低比特 KV Cache 量化	ARCH-MLA
解耦位置分量	decoupled positional component	将位置相关分量与可压缩内容分量分开保存或计算	不等于完全移除 RoPE	04 注意力演进
旋转位置编码	RoPE	通过旋转 Q/K 成对维度表达相对位置关系	位置缩放改变外推条件，不自动保证长上下文质量	05 RoPE
稠密前馈网络	Dense FFN	每个词元经过同一组前馈网络参数	与 MoE 的“总参数稀疏激活”不同	07 MLP / FFN
门控线性单元	GLU / SwiGLU	用门控分支调制值分支的逐词元通道变换	门控激活不是 MoE 路由器	07 MLP / FFN
访问范围	attention access pattern	每个查询位置允许读取哪些历史位置	与 K/V 使用何种表示、存储格式是两个问题	Part 02 · 44
滑动窗口注意力	sliding-window attention	每个位置只访问有限邻近历史窗口	显式布尔掩码不代表命中专用稀疏计算内核	Part 02 · 44
递推状态	recurrent state	用固定或受控大小状态逐步汇总历史	不支持任意历史精确回读时，不能等同完整 KV Cache	Part 02 · 45
状态空间模型	SSM	用状态转移与输入映射处理序列的模型族	Mamba 是选择性 SSM 路线，不是所有线性注意力的统称	10 混合记忆
混合记忆架构	hybrid memory architecture	在不同层组合注意力与递推/SSM 状态	不等于把两个模型输出简单相加	ARCH-HYBRID-MEMORY
路由器	Router	根据词元表示产生专家选择分数并执行 Top-k 选择	选择专家不等于完成词元分发	Part 02 · 06
专家	Expert	MoE 中可被独立选择的 FFN 参数分支	专家总数不等于每个词元的激活专家数	09 MoE
共享专家	shared expert	对所有或大部分词元保持激活的公共专家分支	不能计入稀疏 Top-k 后假装每个词元成本不变	09 MoE
专家容量	expert capacity	单个专家在当前批次允许处理的词元上限	专家总参数量不等于每个词元的激活容量	09 MoE
容量溢出	overflow	路由词元超出专家容量后的状态	丢弃、回退和重路由具有不同质量与通信代价	Part 02 · 06
分发与合并	dispatch / combine	按专家归属搬运词元，并将专家输出恢复到原词元顺序	路由器只给出归属，不承担跨设备搬运	Part 02 · 46
声明结构	declared architecture	论文、模型卡或配置文件声称采用的结构	不能证明当前模型快照已按该结构实例化	08 结构审计
实例化模块	materialized module	加载模型快照后实际存在的模块、参数和权重形状	不保证目标后端真正执行预期计算内核	08 结构审计
运行路径	runtime path	目标输入和后端下真正执行的算子、状态与回退路径	不能仅由配置字段推断	08 结构审计
架构审计卡	architecture audit card	记录声明结构、实例化模块、运行路径、资源影响、证据等级和决策的结构化报告	不替代局部机制实验和真实质量基准	08 结构审计

使用规则

• 首次出现使用“中文主称（English）”，后续使用中文主称或表中通用缩写。
• MHA、MQA、GQA、MLA、RoPE、MoE、SSM 可直接使用；普通叙述优先使用“工作负载、基线、候选、执行后端”等中文主称。
• 注意力的表示、访问范围、存储管理和执行内核分属不同层次，不用一个“注意力优化”概括。
• 术语修改逐页判断，不对 Notebook JSON、代码变量或模型配置执行无上下文批量替换。