附录A：数学备忘

版本： v1.2 最后更新： 2026-06-02

本附录收集了全书中常用的数学符号、公式和概念，方便随时查阅。更完整的数学基础主题（图论、信息论、凸分析等）见 附录D：数学基础速查表。

---

目录

• A.1 线性代数
• A.2 概率与统计
• A.3 复数基础
• A.4 信号处理
• A.5 优化
• A.6 激活函数
• A.7 常用符号
• A.8 常用恒等式

---

A.1 线性代数

向量和矩阵

符号	含义	例子
$\mathbf{x}$	列向量	$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$
${\mathbf{x}}^T$	行向量（转置）	$\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$
$\mathbf{A}$	矩阵	$\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$
${\mathbf{A}}^T$	矩阵转置	行列互换
${\mathbf{A}}^{-1}$	矩阵逆	$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}$
$\mathbf{I}$	单位矩阵	对角线为1，其他为0

矩阵运算

矩阵乘法：

$$(\mathbf{A}\mathbf{B}{)}_{ij}=\sum _k{A}_{ik}{B}_{kj}$$

向量点积：

$${\mathbf{x}}^T\mathbf{y}=\sum _i{x}_i{y}_i$$

矩阵范数（Frobenius范数）：

$$\parallel \mathbf{A}{\parallel }_F=\sqrt{\sum _{i,j}{A}_{ij}^2}$$

向量范数（L2范数）：

$$\parallel \mathbf{x}{\parallel }_2=\sqrt{\sum _i{x}_i^2}$$

矩阵求导

标量对向量求导：

$$\frac{\partial }{\partial \mathbf{x}}({\mathbf{a}}^T\mathbf{x})=\mathbf{a}$$$$\frac{\partial }{\partial \mathbf{x}}({\mathbf{x}}^T\mathbf{A}\mathbf{x})=(\mathbf{A}+{\mathbf{A}}^T)\mathbf{x}$$

链式法则：

$$\frac{\partial L}{\partial \mathbf{x}}=\frac{\partial L}{\partial \mathbf{y}}\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$

---

A.2 概率与统计

高斯分布

概率密度函数（PDF）：

$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

多元高斯分布：

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\mathbf{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu }))$$

其中 $\mathit{\mu }$ 是均值，$\mathbf{\Sigma }$ 是协方差矩阵。

期望和方差

期望：

$$E[X]=\sum _{x}x\cdot p(x)\text{（离散）}$$$$E[X]=\int x\cdot p(x)dx\text{（连续）}$$

方差：

$$\text{Var}(X)=E[(X-E[X]{)}^2]=E[X^2]-(E[X]{)}^2$$

协方差：

$$\text{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$$

常用分布

分布	参数	均值	方差
高斯	$\mu ,{\sigma }^2$	$\mu$	${\sigma }^2$
均匀	$a,b$	$(a+b)/2$	$(b-a{)}^2/12$
伯努利	$p$	$p$	$p(1-p)$

---

A.3 复数基础

复数在信号处理中无处不在，是理解傅里叶变换的关键。

定义和表示

代数形式：

$$z=a+jb$$

其中 $a$ 是实部，$b$ 是虚部，$j$ 是虚数单位（$j^2=-1$）。

极坐标形式：

$$z=r{e}^{j\theta }=r(\cos \theta +j\sin \theta )$$

其中 $r=|z|=\sqrt{a^2+b^2}$ 是模，$\theta =\arctan (b/a)$ 是幅角。

运算

乘法：

$$(a+jb)(c+jd)=(ac-bd)+j(ad+bc)$$

共轭：

$$z^{\ast }=a-jb,|z{|}^2=z\cdot z^{\ast }$$

欧拉公式

$$e^{j\theta }=\cos \theta +j\sin \theta$$

推论：

$$\cos \theta =\frac{e^{j\theta }+e^{-j\theta }}{2},\sin \theta =\frac{e^{j\theta }-e^{-j\theta }}{2j}$$

复指数 $e^{j2\pi ft}$ 同时编码幅度和相位，这是傅里叶变换使用复指数的原因。

---

A.4 信号处理

傅里叶变换

离散傅里叶变换（DFT）：

$$X[k]=\sum _{n=0}^{N-1}x[n]e^{-j2\pi kn/N}$$

逆变换：

$$x[n]=\frac{1}{N}\sum _{k=0}^{N-1}X[k]e^{j2\pi kn/N}$$

卷积

离散卷积：

$$y[n]=\sum _{m=-\mathrm{\infty }}^{\mathrm{\infty }}x[m]h[n-m]$$

性质：

• 交换律：$x\ast h=h\ast x$
• 结合律：$(x\ast h_1)\ast h_2=x\ast (h_1\ast h_2)$
• 频域乘法：$\mathcal{F}(x\ast h)=\mathcal{F}(x)\cdot \mathcal{F}(h)$

能量和功率

信号能量：

$$E=\sum _{n=-\mathrm{\infty }}^{\mathrm{\infty }}|x[n]{|}^2$$

信号功率：

$$P=\underset{N\to \mathrm{\infty }}{lim}\frac{1}{2N+1}\sum _{n=-N}^N|x[n]{|}^2$$

---

A.5 优化

梯度下降

更新规则：

$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\alpha \mathrm{\nabla }L({\mathbf{w}}_t)$$

其中 $\alpha$ 是学习率，$\mathrm{\nabla }L$ 是损失函数的梯度。

常用损失函数

均方误差（MSE）：

$$L=\frac{1}{N}\sum _{i=1}^N(y_i-{\hat{y}}_i{)}^2$$

交叉熵（分类）：

$$L=-\frac{1}{N}\sum _{i=1}^N\sum _{c=1}^C{y}_{ic}\log ({\hat{y}}_{ic})$$

L2正则化：

$$L_{\text{reg}}=L+\lambda \sum _i{w}_i^2$$

优化器

SGD（随机梯度下降）：

$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\alpha \mathrm{\nabla }L({\mathbf{w}}_t)$$

Adam：

$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)\mathrm{\nabla }L({\mathbf{w}}_t)$$$$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)(\mathrm{\nabla }L({\mathbf{w}}_t){)}^2$$$${\mathbf{w}}_{t+1}={\mathbf{w}}_t-\alpha \frac{m_t}{\sqrt{v_t}+ϵ}$$

---

A.6 激活函数

函数	公式	导数	用途
ReLU	$max(0,x)$	${\mathbb{1}}_{x>0}$	隐层
Sigmoid	$\frac{1}{1+e^{-x}}$	$\sigma (x)(1-\sigma (x))$	二分类输出
Tanh	$\frac{e^x-e^{-x}}{e^x+e^{-x}}$	$1-{\tanh }^2(x)$	RNN隐层
Softmax	$\frac{e^{x_i}}{\sum _j{e}^{x_j}}$	$\text{diag}(p)-p{p}^T$	多分类输出

---

A.7 常用符号

符号	含义
$\sum$	求和
$\prod$	求积
$\int$	积分
$\partial$	偏导数
$\mathrm{\nabla }$	梯度
$\mathbb{E}$	期望
$\mathbb{R}$	实数集
$\mathbb{C}$	复数集
$j$ 或 $i$	虚数单位（$j^2=-1$）
$\approx$	近似等于
$\propto$	正比于

---

A.8 常用恒等式

三角恒等式：

$${\sin }^2(x)+{\cos }^2(x)=1$$$$e^{jx}=\cos (x)+j\sin (x)$$

对数恒等式：

$$\log (ab)=\log (a)+\log (b)$$$$\log (a^b)=b\log (a)$$

指数恒等式：

$$e^{a+b}=e^a{e}^b$$$$(e^a{)}^b=e^{ab}$$

常见求导：

$$\frac{d}{dx}{x}^n=n{x}^{n-1},\frac{d}{dx}{e}^x=e^x,\frac{d}{dx}\log (x)=\frac{1}{x}$$

常见积分：

$$\int x^{n}dx=\frac{x^{n+1}}{n+1}+C(n\ne -1),\int e^{x}dx=e^x+C$$