附录D：数学基础速查表

版本： v1.1 最后更新： 2026-06-02

本速查表是各章节数学前置内容的导航入口。每个主题提供关键公式速查，需要深度阅读时点击链接进入对应扩展文档。

---

目录

• D.1 复数基础（第1章）
• D.2 数值方法（第2章）
• D.3 图论基础（第4章）
• D.4 向量空间基础（第4章）
• D.5 信息论基础（第5章）
• D.6 凸分析基础（第2章扩展）
• D.7 随机过程（第1章扩展）
• D.8 线性系统理论（第1章扩展）
• 概念关系图
• 章节数学前置总览
• 快速查找指南

---

D.1 复数基础

概念	公式	应用
代数形式	$z=a+jb$	傅里叶变换、信号处理
极坐标	$z=r{e}^{j\theta }$	幅度和相位表示
欧拉公式	$e^{j\theta }=\cos \theta +j\sin \theta$	复指数、旋转
共轭	$z^{\ast }=a-jb$	实部提取、功率计算
模	$	z

关键应用： 傅里叶变换中的复指数 $e^{j2\pi ft}$ 同时编码幅度和相位，参见附录A A.3 复数基础。

---

D.2 数值方法

概念	公式/条件	应用
浮点精度	$\text{computed}=\text{true}\times (1+ϵ)$	数值稳定性
条件数	$\kappa (\mathbf{A})=|\mathbf{A}|\cdot |{\mathbf{A}}^{-1}|$	问题难度
有限差分	$\frac{\partial f}{\partial x}\approx \frac{f(x+h)-f(x-h)}{2h}$	梯度检查
最优步长	$h\approx \sqrt{ϵ}$	数值梯度
梯度消失	$\frac{\partial L}{\partial w_1}=\prod _i\frac{\partial }{\partial w_i}\ll 1$	深层网络

关键应用： 理解为什么某些优化算法会失败，如何确保数值稳定性。详见第2章 04_numerical_methods.md。

---

D.3 图论基础

概念	定义	应用
图	$G=(V,E)$	网络、关系
邻接矩阵	$A_{ij}=w_{ij}$ if $(i,j)\in E$	图表示
度	$d_i=\sum _j{A}_{ij}$	节点连接数
拉普拉斯矩阵	$\mathbf{L}=\mathbf{D}-\mathbf{A}$	图谱分析
注意力权重	${\alpha }_{ij}=\text{softmax}(Q_i{K}_j^T/\sqrt{d_k})$	Transformer 中的图

关键应用： 注意力机制本质上是图上的全连接消息传递。深度阅读 → 第4章扩展：图论基础。

---

D.4 向量空间基础

概念	公式	应用
内积	$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}$	相似度
L2 范数	$|\mathbf{v}{|}_2=\sqrt{\sum _i{v}_i^2}$	欧几里得距离
余弦相似度	$\cos \theta =\frac{{\mathbf{u}}^T\mathbf{v}}{|\mathbf{u}||\mathbf{v}|}$	方向相似度
投影	${\text{proj}}_{\mathbf{v}}\mathbf{u}=\frac{⟨\mathbf{u},\mathbf{v}⟩}{|\mathbf{v}{|}^2}\mathbf{v}$	子空间投影
正交基	$⟨{\mathbf{v}}_i,{\mathbf{v}}_j⟩=0$ ($i\ne j$)	独立表示

关键应用： 理解 Transformer 中的嵌入空间和 QKV 注意力计算。深度阅读 → 第4章扩展：向量空间基础。

---

D.5 信息论基础

概念	公式	应用
熵	$H(X)=-\sum _{x}P(x)\log P(x)$	不确定性度量
交叉熵	$H(P,Q)=-\sum _{x}P(x)\log Q(x)$	LLM 损失函数
KL 散度	$D_{KL}(P|Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$	分布差异
互信息	$I(X;Y) = H(X) - H(X	Y)$
困惑度	$\text{PPL}=e^{H(P,Q)}$	语言模型评估

关键应用： 理解 LLM 的训练目标（最小化交叉熵）和评估指标（困惑度）。深度阅读 → 第5章扩展：信息论基础。

---

D.6 凸分析基础

概念	定义/条件	应用
凸集	$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in C$	可行域
凸函数	$f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})$	优化问题
Hessian 半正定	${\mathrm{\nabla }}^{2}f(\mathbf{x})⪰0$	凸性判断
凸优化	最小化凸函数在凸集上	保证全局最优
非凸优化	深度学习中的优化	局部最优解

关键应用： 理解为什么 SVM 有全局最优解而深度网络没有。深度阅读 → 第2章扩展：凸分析基础。

---

D.7 随机过程

概念	定义/公式	应用
平稳过程	$E[X(t)]=\mu$, $R(t_1,t_2)=R(\tau )$	时间序列
马尔可夫链	$P(X_	X_n, \ldots) = P(X_
转移矩阵	$P_{ij} = P(X_{n+1}=j	X_n=i)$
AR(p) 模型	$X_t=\sum _i{\varphi }_i{X}_{t-i}+{ϵ}_t$	时间序列预测
自相关函数	$\rho (\tau )=\frac{R(\tau )-{\mu }^2}{{\sigma }^2}$	相关结构

关键应用： 理解时间序列的动态特性，以及 RNN 与马尔可夫假设的关系。深度阅读 → 第1章扩展：随机过程进阶。

---

D.8 线性系统理论

概念	公式/定义	应用
冲激响应	$h[n]=T(\delta [n])$	系统特性
卷积	$y[n]=\sum _{k}x[k]h[n-k]$	系统输出
频率响应	$H(e^{j\omega })=\sum _{n}h[n]e^{-j\omega n}$	频域特性
传递函数	$H(z)=B(z)/A(z)$	系统表示
稳定性	$	p_i
状态空间	$\mathbf{x}[n+1]=\mathbf{A}\mathbf{x}[n]+\mathbf{B}\mathbf{u}[n]$	现代控制

关键应用： 理解滤波器设计和系统稳定性，以及 RNN 状态空间与线性系统的对应关系。深度阅读 → 第1章扩展：线性系统理论。

---

概念关系图

线性代数（矩阵、特征值）
    ├── 向量空间基础 → Transformer 嵌入、QKV 注意力
    ├── 图论基础    → 注意力机制（全连接图）
    └── 凸分析基础  → 优化问题（全局 vs 局部最优）

微积分（导数、梯度）
    ├── 数值方法    → 数值稳定性、梯度检查
    └── 优化理论    → 梯度下降、Adam

概率论（分布、期望）
    ├── 信息论基础  → LLM 损失函数（交叉熵）
    └── 随机过程    → 时间序列、马尔可夫链

信号处理（傅里叶、卷积）
    ├── 复数基础    → 复指数、幅相表示
    ├── 线性系统    → 滤波器设计、稳定性
    └── 随机过程    → 平稳信号分析

---

章节数学前置总览

章节	必读基础	推荐扩展
Ch1 DSP	线性代数、微积分、傅里叶	复数基础、随机过程、线性系统
Ch2 优化	微积分、线性代数	数值方法、凸分析
Ch3 深度学习	微积分、线性代数	数值方法
Ch4 Transformer	线性代数、微积分	图论基础、向量空间
Ch5 LLM	概率论、统计学	信息论基础
Ch6-7 应用	所有基础	视具体场景

---

快速查找指南

我想理解……

• Transformer 中的注意力 → D.3 图论基础 + D.4 向量空间基础
• LLM 的损失函数和困惑度 → D.5 信息论基础
• 为什么梯度会消失 → D.2 数值方法
• 滤波器设计原理 → D.8 线性系统理论
• RNN 和时间序列的关系 → D.7 随机过程
• SVM 为什么有全局最优解 → D.6 凸分析基础
• 傅里叶变换为什么用复指数 → D.1 复数基础
• 嵌入向量的相似度计算 → D.4 向量空间基础

---

版本历史：

• v1.1 (2026-06-02)：加目录、加 extensions 深度阅读链接、去掉重复符号速查、统一节编号
• v1.0 (2026-05-27)：初始版本，包含 Plan B 和 Plan C 的数学基础