附录 G：术语表
本术语表统一教程中跨 DSP、统计、深度学习、Transformer、LLM 和多模态使用的核心词汇。它回答“这个词在本教程中具体指什么”，数学符号和公式见附录 A，章节数学前置关系见附录 D。
使用约定
- 中文正文优先使用“中文术语（英文，缩写）”作为首次定义，之后使用中文或公认缩写。
- 本教程统一使用“表示”，不把“表征”作为另一套概念；引用外部材料时可保留原词。
token在正文中保留英文。文本 token 可称“词元”，视觉 token 和信号 token 指模型序列单元，不一定对应自然语言词。- 中文语境中的方案名称统一写作 Prompt、RAG、Agent；代码变量和英文句子遵循其自身大小写。
- 单独写“推理”容易混淆时，应明确使用“统计推断”“模型推理”或“推理能力”。
- 矩阵使用粗体大写，向量使用粗体小写；完整符号规范在附录 A 维护。
G.1 信号与信息处理
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 观测 | Observation | 传感器或数据源实际提供、可供算法处理的数据 | 真实物理状态 | 第 1 章 |
| 信号 | Signal | 随时间、空间或其他自变量变化并承载信息的量 | 文件格式、标签 | 第 1 章 |
| 样本值 | Sample | 连续信号在一个采样位置得到的数值 | 机器学习中的训练样本 | 第 1 章 |
| 采样率 | Sampling rate | 单位时间取得的样本值数量 | 模型推理吞吐量 | 第 1 章 |
| 窗口 | Window / frame | 从连续序列截取的有限处理区间 | 模型上下文窗口 | 第 1 章 |
| 噪声 | Noise | 观测中不属于目标信息的随机或结构化扰动 | 所有模型误差 | 第 1 章 |
| 信噪比 | Signal-to-noise ratio, SNR | 信号功率与噪声功率之比，必须说明估计方式和单位 | 模型准确率 | 第 1 章 |
| 变换 | Transform | 把同一对象改写到另一坐标或表示域的确定性运算 | 学习得到的模型 | 第 1 章 |
| 频谱 | Spectrum | 信号在频率维度上的幅度、功率或复数系数表示 | 时频图 | 第 1 章 |
| 时频表示 | Time-frequency representation | 同时描述时间位置和频率结构的表示 | 单个全局频谱 | 第 1、7 章 |
| 检测 | Detection | 在不确定观测下判断目标或事件是否存在 | 参数估计、目标定位 | 第 1、3 章 |
| 估计 | Estimation | 根据观测推断未知参数或状态的数值 | 二元检测 | 第 1 章 |
| 特征 | Feature | 为任务提取或学习得到的可用变量 | 任意中间张量 | 第 1—3 章 |
| 表示 | Representation | 对对象信息的数值化描述，是特征、嵌入和隐藏状态的上位概念 | 单一固定算法 | 全书 |
| 状态 | State | 概括系统当前信息、并影响后续演化的变量 | 模型参数 | 第 1、3 章 |
G.2 学习、统计与优化
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 数据集 | Dataset | 按明确口径收集的一组样本及其元数据 | 单个 batch | 第 2 章 |
| 训练样本 | Training example | 机器学习中一次训练使用的输入及可选目标 | 信号中的一个采样值 | 第 2 章 |
| 标签 | Label | 监督学习中作为目标或标注的离散或连续信息 | 模型生成的自由文本 | 第 2 章 |
| 模型 | Model | 用参数化结构描述输入、输出或数据分布的计算对象 | 完整业务系统 | 第 2 章 |
| 参数 | Parameter | 由训练或估计过程更新的模型变量 | 人工设置的超参数 | 第 2 章 |
| 超参数 | Hyperparameter | 在训练前或训练外部选择的配置，如学习率、窗口大小 | 训练得到的权重 | 第 2 章 |
| 目标函数 | Objective | 优化过程要最小化或最大化的总体数学目标 | 单样本损失 | 第 2 章 |
| 损失函数 | Loss | 衡量预测与目标差异、用于训练优化的函数 | 所有业务评价指标 | 第 2 章 |
| 梯度 | Gradient | 标量函数对变量的一阶偏导数组成的向量 | 参数更新量本身 | 第 2 章 |
| 优化 | Optimization | 在约束下寻找使目标函数更优的变量 | 模型训练的全部流程 | 第 2 章 |
| 训练 | Training | 用数据和目标函数更新模型参数的过程 | 模型推理 | 第 2—3 章 |
| 验证集 | Validation set | 用于选择超参数和模型版本、不直接更新参数的数据 | 最终测试集 | 第 2 章 |
| 测试集 | Test set | 在方案冻结后估计泛化性能的数据 | 反复调参的数据 | 第 2 章 |
| 泛化 | Generalization | 模型在训练数据之外保持任务性能的能力 | 记住训练样本 | 第 2—3 章 |
| 统计推断 | Statistical inference | 根据样本对总体、参数或假设作出概率性判断 | 模型前向计算 | 第 1—2 章 |
| 消融实验 | Ablation study | 固定其他条件、移除或替换一个因素以判断其作用 | 同时改变多项配置的比较 | 第 3—8 章 |
G.3 深度学习与 Transformer
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 张量 | Tensor | 带有一个或多个轴的数值数组 | 特定深度学习框架对象 | 第 3 章 |
| 批量 | Batch | 一次并行送入模型的一组训练样本或请求 | 完整数据集 | 第 3 章 |
| 通道 | Channel | 同一位置上的不同测量或特征维度 | 注意力头 | 第 1、3 章 |
| token | Token | 被模型作为一个序列位置处理的离散或连续单元 | 只等同于自然语言单词 | 第 4—5 章 |
| 分词 | Tokenization | 把文本转换为 token 序列及其 ID 的过程 | 嵌入查表 | 第 5 章 |
| 嵌入 | Embedding | 把离散对象或高维对象映射到连续向量空间的表示 | 所有中间表示 | 第 5 章 |
| 隐藏表示 | Hidden representation | 模型中间层产生、供后续层继续处理的表示 | 最终概率输出 | 第 3—5 章 |
| logit | Logit | softmax 或 sigmoid 之前的未归一化分数 | 概率 | 第 2、5 章 |
| 编码器 | Encoder | 把输入转换为上下文表示的模块 | 文本编码格式 | 第 3—4 章 |
| 解码器 | Decoder | 根据已有表示预测或生成输出的模块 | 文件解码器 | 第 3—5 章 |
| 注意力 | Attention | 根据查询与键的关系，对值进行数据依赖加权聚合的机制 | 可直接解释模型因果依据的证明 | 第 4 章 |
| 自注意力 | Self-attention | 查询、键和值来自同一序列的注意力 | 交叉注意力 | 第 4 章 |
| 交叉注意力 | Cross-attention | 查询与键值来自不同序列或模态的注意力 | 任意多模态融合 | 第 4、7 章 |
| 查询、键、值 | Query, Key, Value; Q/K/V | 注意力中定义检索需求、匹配依据和聚合内容的投影表示 | 数据库中固定字段 | 第 4 章 |
| 注意力掩码 | Attention mask | 限制哪些序列位置可以直接建立注意力连接的矩阵或规则 | 权重剪枝 | 第 4 章 |
| 因果掩码 | Causal mask | 禁止当前位置读取未来 token 的注意力掩码 | 通用稀疏注意力 | 第 4 章 |
| 位置编码 | Positional encoding | 向序列表示注入顺序或相对位置信息的方法 | token ID | 第 4 章 |
| 上下文窗口 | Context window | 单次模型计算能够接收的 token 范围 | DSP 的时间窗口 | 第 5 章 |
| 自回归 | Autoregressive | 把已知历史作为条件，逐步预测后续变量或 token | 必然使用 RNN | 第 3、5 章 |
| 模型推理 | Model inference | 固定参数后执行模型前向计算并得到输出的过程 | 统计推断、推理能力 | 第 5、8 章 |
| KV cache | Key-value cache | 自回归生成时缓存历史层的键和值，避免重复计算 | 通用结果缓存 | 第 4、8 章 |
| Prefill | Prefill | 处理完整输入上下文并建立初始 KV cache 的阶段 | 逐 token 解码 | 第 8 章 |
| Decode | Decode | 自回归生成中逐步产生新 token 的阶段 | tokenizer 的文本解码 | 第 8 章 |
G.4 LLM 训练与应用
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 预训练 | Pretraining | 在大规模数据上学习通用表示和预测能力的训练阶段 | 针对业务任务的微调 | 第 5 章 |
| 下一 token 预测 | Next-token prediction | 给定已有 token，学习后续 token 条件分布的训练目标 | 保证事实正确 | 第 5 章 |
| 预测 | Prediction | 计算目标变量或后续 token 的条件分布或估计 | 展开完整输出序列 | 第 2、5 章 |
| 生成 | Generation | 反复预测、选择并追加 token，形成序列输出的过程 | 单次前向预测 | 第 5 章 |
| 采样 | Sampling | 从模型给出的概率分布中选择输出的策略 | 数据采样率 | 第 5 章 |
| 温度 | Temperature | 缩放 logits、改变采样分布尖锐程度的参数 | 模型事实可靠性开关 | 第 5 章 |
| 指令微调 | Instruction tuning | 用指令—响应数据训练模型遵循任务描述 | 偏好对齐的全部过程 | 第 5 章 |
| 偏好对齐 | Preference alignment | 用人类或模型偏好信号调整模型行为 | 跨模态表示对齐 | 第 5 章 |
| Prompt | Prompt | 提供给模型的指令、上下文、示例和输入组合 | 模型参数 | 第 6 章 |
| 系统 Prompt | System prompt | 用于声明角色、规则和高层约束的输入消息 | 安全边界的充分保证 | 第 6 章 |
| 上下文学习 | In-context learning, ICL | 不更新参数，仅通过上下文中的说明和示例改变当前任务行为 | 微调 | 第 6 章 |
| 微调 | Fine-tuning | 在预训练模型基础上继续更新部分或全部参数 | Prompt 调整 | 第 5—6 章 |
| 参数高效微调 | Parameter-efficient fine-tuning, PEFT | 只训练少量新增或选定参数的微调方法集合 | 单指 LoRA | 第 5—6 章 |
| 检索增强生成 | Retrieval-augmented generation, RAG | 推理时检索外部证据并把它加入生成上下文的系统方案 | 把知识永久写入参数 | 第 6 章 |
| Agent | Agent | 让模型在状态、工具和控制流程中选择动作的系统模式 | 任何一次工具调用 | 第 6 章 |
| 工具调用 | Tool calling | 模型按约定结构请求外部函数或服务执行操作 | 工具执行结果必然正确 | 第 6 章 |
| 幻觉 | Hallucination | 输出流畅但缺少证据、与事实或给定上下文冲突的内容 | 所有预测错误 | 第 5—6 章 |
| 依据约束 | Grounding | 让输出可以追溯到输入、检索证据、工具结果或可验证状态 | 只在 Prompt 中要求“不要编造” | 第 6—7 章 |
| 推理能力 | Reasoning capability | 模型在多步约束下形成有效中间关系并得到答案的能力 | 模型推理阶段本身 | 第 5—6 章 |
G.5 多模态与对齐
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 模态 | Modality | 由采集方式和信息结构区分的数据类型，如文本、图像、音频或 I/Q | 单个文件扩展名 | 第 7 章 |
| 模态编码器 | Modality encoder | 把某种模态观测转换为向量或 token 序列的模块 | 完整多模态系统 | 第 7 章 |
| 投影器 | Projector | 把模态表示映射到目标维度或空间的接口模块 | 必然完成语义对齐 | 第 7 章 |
| 视觉 token | Visual token | 由图像 patch、区域或压缩视觉表示形成的序列单元 | 文本词元 | 第 7 章 |
| 信号 token | Signal token | 由波形窗口、时频块、事件片段或学习压缩得到的序列单元 | 原始采样值 | 第 7 章 |
| 表示对齐 | Representation alignment | 让不同模态或来源的表示建立可比较、可检索或可交互的对应关系 | 偏好对齐 | 第 7 章 |
| 融合 | Fusion | 在特征、token、注意力或决策层组合多种信息 | 对齐；融合前不一定已对齐 | 第 7 章 |
| 对比学习 | Contrastive learning | 拉近匹配样本表示、拉远不匹配样本表示的训练方式 | 只有二分类损失 | 第 7 章 |
| 零样本 | Zero-shot | 不使用目标任务标注样本进行专门训练而直接评测 | 模型从未见过相关概念 | 第 5、7 章 |
| 跨模态检索 | Cross-modal retrieval | 用一种模态的查询检索另一种模态的匹配对象 | 生成式问答 | 第 7 章 |
| 高分辨率处理 | High-resolution processing | 在保留细节与控制 token 成本之间选择缩放、分块或动态策略 | 单纯放大图像 | 第 7 章 |
| 联合验收 | Joint acceptance | 同时检查信号、对齐、任务和系统资源指标 | 只报告一个综合分数 | 第 7—8 章 |
G.6 工程、评估与部署
| 规范术语 | 英文 / 缩写 | 本教程中的含义 | 不要混同 | 首次重点章节 |
|---|---|---|---|---|
| 基线 | Baseline | 在相同数据和条件下作为比较起点的可复现方案 | 随意选取的旧结果 | 第 2—8 章 |
| 评价指标 | Metric | 按明确规则计算、用于观察某一性质的数值 | 完整业务目标 | 第 2—8 章 |
| 基准测试 | Benchmark | 固定数据、任务、配置和指标的可重复比较过程 | 单次运行结果 | 第 5、8 章 |
| 回归集 | Regression set | 用于检查修改是否破坏既有能力的一组固定案例 | 训练集 | 第 8 章 |
| 量化 | Quantization | 用较低精度或离散数值表示权重、激活或信号 | 保证加速 | 第 1、8 章 |
| 剪枝 | Pruning | 删除权重、通道、层或其他结构以减少模型规模或计算 | 无硬件支持也必然降延迟 | 第 8 章 |
| 蒸馏 | Distillation | 用教师模型的输出或中间信息训练较小学生模型 | 无损模型复制 | 第 8 章 |
| 延迟 | Latency | 一个请求或处理阶段从开始到完成经历的时间 | 吞吐量 | 第 8 章 |
| 吞吐量 | Throughput | 单位时间完成的样本、请求或 token 数量 | 单请求延迟 | 第 8 章 |
| 首 token 延迟 | Time to first token, TTFT | 从请求到达至生成首个输出 token 的时间 | 完整生成耗时 | 第 8 章 |
| 实时因子 | Real-time factor, RTF | 处理耗时与输入时长之比，RTF 小于 1 通常表示可跟上单路实时输入 | 固定毫秒延迟 | 第 8 章 |
| 峰值内存 | Peak memory | 完整运行期间达到的最大内存或显存占用 | 模型文件大小 | 第 8 章 |
| 端侧部署 | On-device / edge deployment | 在终端、嵌入式或靠近数据源的受限设备上运行系统 | 只等同于手机部署 | 第 8 章 |
| 服务等级目标 | Service-level objective, SLO | 对延迟、可用性或正确率等服务指标设定的可检查目标 | 内部实现方案 | 第 8 章 |
| 降级 | Degradation / fallback | 主方案不可用或超预算时切换到能力较低但可控的路径 | 静默返回错误答案 | 第 8 章 |
| 灰度发布 | Canary release | 先向有限流量发布新版本并观察指标，再决定是否扩大 | 离线测试的替代品 | 第 8 章 |
容易混淆的四组概念
表示、特征、嵌入与 token
“表示”是上位概念；“特征”强调任务可用的变量；“嵌入”强调映射到连续向量空间；“token”强调序列中的处理单元。一个 token 会对应一个嵌入向量，但 token 本身不是向量。
预测、生成、模型推理与推理能力
预测给出目标变量或下一个 token 的分布；生成反复调用预测形成序列；模型推理是执行模型计算的阶段；推理能力描述模型解决多步问题的能力。四者不能互换。
表示对齐、偏好对齐与融合
表示对齐建立模态或来源之间的对应关系；偏好对齐调整模型行为与偏好或规范的关系；融合把多种信息组合起来。系统可以先对齐再融合，也可以在联合训练中同时学习，但评价指标不同。
信号检测与目标检测
信号检测通常判断目标信号或事件是否存在；计算机视觉目标检测还要输出类别和空间位置。二者共享阈值、误报、漏报和 ROC / PR 等思想，但输入、输出和匹配规则不同。
维护规则
新增术语时应满足以下条件：
- 在两个以上章节中使用，或在一个章节中存在明显歧义；
- 给出本教程采用的定义，而不是复制百科说明；
- 至少写出一个容易混淆的概念；
- 数学公式仍维护在附录 A，不在本表建立第二份公式源；
- 模型名、库名和短期产品功能不进入核心术语表。