1.7 信号估计

核心问题： 如何从噪声中估计信号的参数？如何评估估计器的性能？

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。

---

参数估计问题

问题设置

观测模型：

$$y[n]=s(x[n];\theta )+w[n],n=0,1,\dots ,N-1$$

其中：

• $y[n]$：观测信号
• $s(x[n];\theta )$：参数化信号模型
• $\theta$：待估计的参数
• $w[n]$：加性高斯白噪声

估计任务： 给定观测 $\mathbf{y}=[y[0],y[1],\dots ,y[N-1]{]}^T$，估计参数 $\theta$。

参数估计的例子

例1：正弦波参数估计

$$s(t;\theta )=A\sin (2\pi ft+\varphi )$$

参数：$\theta =[A,f,\varphi {]}^T$（幅度、频率、相位）

例2：信道估计

$$y[n]=h\cdot x[n]+w[n]$$

参数：$\theta =h$（信道增益）

例3：时延估计

$$y[n]=s[n-\tau ]+w[n]$$

参数：$\theta =\tau$（时延）

---

最大似然估计（Maximum Likelihood Estimation, MLE）

原理

似然函数： 给定参数 $\theta$，观测 $\mathbf{y}$ 的概率。

$$L(\theta ;\mathbf{y})=p(\mathbf{y}|\theta )$$

最大似然估计： 选择使似然函数最大的参数。

$${\hat{\theta }}_{\text{ML}}=\arg \underset{\theta }{max}L(\theta ;\mathbf{y})$$

对数似然函数： 为了计算方便，通常最大化对数似然。

$${\hat{\theta }}_{\text{ML}}=\arg \underset{\theta }{max}\ln L(\theta ;\mathbf{y})$$

高斯噪声下的MLE

假设： 噪声是AWGN，方差为 ${\sigma }^2$。

似然函数：

$$L(\theta ;\mathbf{y})=\prod _{n=0}^{N-1}\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(y[n]-s(x[n];\theta ){)}^2}{2{\sigma }^2})$$

对数似然函数：

$$\ln L(\theta ;\mathbf{y})=-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(y[n]-s(x[n];\theta ){)}^2+\text{常数}$$

最大化对数似然等价于最小化误差平方和：

$${\hat{\theta }}_{\text{ML}}=\arg \underset{\theta }{min}\sum _{n=0}^{N-1}(y[n]-s(x[n];\theta ){)}^2$$

MLE的性质

一致性： 当 $N\to \mathrm{\infty }$ 时，${\hat{\theta }}_{\text{ML}}\to {\theta }_0$（真实参数）

渐近正态性： 当 $N$ 很大时，${\hat{\theta }}_{\text{ML}}$ 近似高斯分布

渐近有效性： 在正则性条件满足且样本足够多时，MLE 可以逼近 Cramér-Rao 界

---

最小二乘估计（Least Squares Estimation, LSE）

原理

最小二乘准则： 最小化观测与模型的误差平方和。

$${\hat{\theta }}_{\text{LS}}=\arg \underset{\theta }{min}\sum _{n=0}^{N-1}(y[n]-s(x[n];\theta ){)}^2$$

与MLE的关系： 在高斯噪声假设下，LSE等价于MLE。

线性最小二乘

线性模型：

$$y[n]={\mathbf{h}}^T\mathbf{x}[n]+w[n]$$

其中 $\mathbf{h}$ 是参数向量，$\mathbf{x}[n]$ 是观测向量。

矩阵形式：

$$\mathbf{y}=\mathbf{X}\mathbf{h}+\mathbf{w}$$

其中 $\mathbf{X}$ 是设计矩阵。

闭式解：

$${\hat{\mathbf{h}}}_{\text{LS}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

优点： 有闭式解，计算快速。

非线性最小二乘

非线性模型： $s(x[n];\theta )$ 对 $\theta$ 非线性。

求解方法：

• 梯度下降法
• 牛顿法
• Levenberg-Marquardt算法

优点： 适用于复杂模型。

缺点： 需要迭代，可能陷入局部最优。

---

贝叶斯估计

原理

贝叶斯定理：

$$p(\theta |\mathbf{y})=\frac{p(\mathbf{y}|\theta )p(\theta )}{p(\mathbf{y})}$$

其中：

• $p(\theta |\mathbf{y})$：后验分布
• $p(\mathbf{y}|\theta )$：似然函数
• $p(\theta )$：先验分布
• $p(\mathbf{y})$：证据

贝叶斯估计： 利用后验分布进行估计。

常见的贝叶斯估计器

1. 最大后验估计（MAP）

$${\hat{\theta }}_{\text{MAP}}=\arg \underset{\theta }{max}p(\theta |\mathbf{y})$$

2. 最小均方误差估计（MMSE）

$${\hat{\theta }}_{\text{MMSE}}=E[\theta |\mathbf{y}]=\int \theta \cdot p(\theta |\mathbf{y})d\theta$$

3. 最小绝对误差估计（MAE）

$${\hat{\theta }}_{\text{MAE}}=\text{median}(\theta |\mathbf{y})$$

贝叶斯 vs 频率学派

频率学派（MLE）：

• 参数是固定但未知的常数
• 估计器的性能由重复实验的分布决定

贝叶斯学派：

• 参数是随机变量
• 利用先验知识改进估计
• 结果是后验分布，不仅是点估计

实际应用： 当有先验知识时，贝叶斯方法通常更好。

---

克拉美罗界（Cramér-Rao Bound, CRB）

定义

CRB： 任何无偏估计器的方差的下界。

$$\text{Var}(\hat{\theta })\ge \text{CRB}(\theta )=\frac{1}{I(\theta )}$$

其中 $I(\theta )$ 是Fisher信息矩阵。

Fisher信息矩阵

定义：

$$I(\theta )=E\left[{\left(\frac{\partial \ln L(\theta ;\mathbf{y})}{\partial \theta }\right)}^2\right]$$

性质：

• $I(\theta )>0$（对于充分的观测）
• $I(\theta )$ 越大，CRB越小（估计越精确）
• 观测数 $N$ 越多，$I(\theta )$ 越大

高斯噪声下的CRB

对于高斯噪声，Fisher信息矩阵为：

$$I(\theta )=\frac{1}{{\sigma }^2}\sum _{n=0}^{N-1}{\left(\frac{\partial s(x[n];\theta )}{\partial \theta }\right)}^2$$

CRB：

$$\text{CRB}(\theta )=\frac{{\sigma }^2}{\sum _{n=0}^{N-1}{\left(\frac{\partial s(x[n];\theta )}{\partial \theta }\right)}^2}$$

接近CRB的条件

MLE通常需要在以下条件下才可能逼近CRB：

1. 模型设定正确，满足常见正则性条件
2. 观测数 $N$ 足够大
3. 参数在内部（不在边界）

---

估计器性能指标

1. 偏差（Bias）

定义：

$$\text{Bias}(\hat{\theta })=E[\hat{\theta }]-\theta$$

无偏估计器： $\text{Bias}(\hat{\theta })=0$

有偏估计器： $\text{Bias}(\hat{\theta })\ne 0$

例子：

• MLE通常是渐近无偏的
• 某些贝叶斯估计器可能有偏

2. 方差（Variance）

定义：

$$\text{Var}(\hat{\theta })=E[(\hat{\theta }-E[\hat{\theta }]{)}^2]$$

性质：

• 方差越小，估计越稳定
• 方差受CRB限制

3. 均方误差（Mean Squared Error, MSE）

定义：

$$\text{MSE}(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2]$$

分解：

$$\text{MSE}(\hat{\theta })={\text{Bias}}^2(\hat{\theta })+\text{Var}(\hat{\theta })$$

权衡： 有时接受小的偏差来换取更小的方差。

4. 一致性（Consistency）

定义： 当 $N\to \mathrm{\infty }$ 时，$\hat{\theta }\stackrel{p}{\to }\theta$

含义： 观测越多，估计越接近真实值。

---

实际应用

1. 频率估计

问题： 从噪声中估计正弦波的频率。

$$y[n]=A\sin (2\pi fn/f_s+\varphi )+w[n]$$

方法：

• FFT：快速但分辨率有限
• MLE：精确但计算复杂
• 子空间方法（MUSIC）：高分辨率

代码文件： code/ch01_dsp/parameter_estimation.py
运行方式： python code/ch01_dsp/parameter_estimation.py

图1.8：参数估计结果示意。随着观测条件改善或样本增加，估计误差会下降，并逐步逼近理论性能界。

应用： 功率系统监测、音乐分析

2. 信道估计

问题： 估计通信信道的参数。

$$y[n]=h\cdot x[n]+w[n]$$

方法：

• 最小二乘：简单快速
• 贝叶斯：利用信道统计特性
• 自适应滤波：跟踪时变信道

应用： 无线通信、雷达

3. 时延估计

问题： 估计信号的传播时延。

$$y[n]=s[n-\tau ]+w[n]$$

方法：

• 相关法：计算 $y[n]$ 与 $s[n]$ 的相关性
• MLE：精确估计
• 子空间方法：多信号时延估计

应用： 定位、测距、同步

4. 医学信号处理

问题： 从生物信号中估计参数。

例子：

• 心率估计：从ECG估计心跳频率
• 呼吸率估计：从呼吸信号估计呼吸频率
• 脑波频率估计：从EEG估计脑波频率

方法： 通常使用频率估计技术

---

本节小结

信号估计是信号处理的核心问题：

• 估计方法：MLE、LSE、贝叶斯估计
• 性能界：Cramér-Rao界
• 性能指标：偏差、方差、MSE、一致性
• 实际应用：频率估计、信道估计、时延估计、医学信号处理

选择合适的估计方法取决于问题的具体特性和可用的先验知识。

---

与后续章节的联系

估计理论强调“从有限观测中恢复未知量”，这是后续章节里训练和推理的共同问题：

1. MLE / LSE

   • 对应于用数据拟合模型参数和输出分布

2. 贝叶斯估计

   • 对应于把先验知识与观测结果结合起来做判断

3. 误差分析

   • 对应于偏差、方差、不确定性和损失函数的分解

4. 性能界

   • 对应于理解模型在数据和噪声约束下的理论极限

5. 高分辨率方法

   • 对应于后续章节中的细粒度表示学习与多子空间建模

这些概念会在第 2 章优化、第 5 章训练和第 6 章评估中继续出现。

---

下一节： 1.8 矩阵分解应用