1.5 随机信号理论

核心问题： 什么是随机信号？如何分析和处理随机信号？

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。

---

确定性信号 vs 随机信号

确定性信号

定义： 信号的值可以用数学函数完全确定。

例子：

• 正弦波：$x(t)=A\sin (2\pi ft+\varphi )$
• 多项式：$x(t)=t^2+2t+1$
• 周期信号：$x(t)=x(t+T)$

特点：

• 可以精确预测
• 给定时间点的值是确定的
• 前面几章讨论的都是确定性信号

随机信号

定义： 信号的值不能完全确定，只能用概率描述。

例子：

• 噪音：麦克风录制的背景噪声
• 股票价格：随时间随机波动
• 通信信号：接收端的信号受多径衰落影响
• 生物信号：脑电图、心电图中的随机成分

特点：

• 不能精确预测，只能用统计方法描述
• 每次观测可能不同
• 需要多次观测来估计其统计特性

---

随机信号的统计特性

1. 均值（Mean）

定义： 信号的平均值。

$$\mu =E[x(t)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\cdot p(x)dx$$

其中 $p(x)$ 是概率密度函数（PDF）。

直观理解： 如果重复观测信号很多次，所有观测值的平均。

例子：

白噪声的均值通常为0
有偏噪声的均值不为0

2. 方差（Variance）

定义： 信号围绕均值的波动程度。

$${\sigma }^2=E[(x(t)-\mu {)}^2]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu {)}^2\cdot p(x)dx$$

直观理解： 方差越大，信号波动越剧烈。

标准差： $\sigma =\sqrt{{\sigma }^2}$

例子：

高斯噪声：方差决定了噪声的强度
信噪比（SNR）：信号功率 / 噪声功率

3. 自相关函数（Autocorrelation Function, ACF）

定义： 信号与其自身在不同时间延迟下的相关性。

$$R(\tau )=E[x(t)x(t+\tau )]$$

性质：

• $R(0)=E[x^2(t)]$（信号的功率）
• $R(\tau )=R(-\tau )$（偶函数）
• $|R(\tau )|\le R(0)$

直观理解：

• $R(\tau )$ 大 → 信号在时间 $\tau$ 后仍然相似
• $R(\tau )$ 小 → 信号在时间 $\tau$ 后变得不相似

例子：

周期信号：自相关函数也是周期的
白噪声：自相关函数只在 τ=0 时有峰值

4. 功率谱密度（Power Spectral Density, PSD）

定义： 信号功率在频域的分布。

$$S(f)=\mathcal{F}\{R(\tau )\}$$

其中 $\mathcal{F}$ 是傅里叶变换。

性质：

• $S(f)\ge 0$（总是非负）
• ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}S(f)df=R(0)=E[x^2(t)]$（总功率）

直观理解：

• 哪些频率的功率强
• 哪些频率的功率弱

例子：

白噪声：PSD是平坦的（所有频率功率相等）
有色噪声：PSD不平坦（某些频率功率强）

---

平稳性（Stationarity）

严格平稳（Strict Stationarity）

定义： 信号的统计特性不随时间变化。

$$p(x(t_1),x(t_2),\dots ,x(t_n))=p(x(t_1+\tau ),x(t_2+\tau ),\dots ,x(t_n+\tau ))$$

对所有 $\tau$ 成立。

含义： 无论什么时候观测，统计特性都相同。

宽平稳（Wide-Sense Stationarity, WSS）

定义： 信号的均值和自相关函数不随时间变化。

$$E[x(t)]=\mu \text{（常数）}$$$$E[x(t)x(t+\tau )]=R(\tau )\text{（只依赖于 }\tau \text{）}$$

优点： 比严格平稳更容易验证。

实际应用： 大多数信号处理假设WSS。

非平稳信号

定义： 统计特性随时间变化。

例子：

• 语音信号：频率成分随时间变化
• 音乐信号：不同乐器在不同时刻出现
• 地震波：能量随时间增加然后减少

处理方法： 用时频分析（如STFT、小波变换）

---

遍历性（Ergodicity）

定义

遍历信号： 时间平均等于集合平均。

$$\underset{T\to \mathrm{\infty }}{lim}\frac{1}{2T}{\int }_{-T}^{T}x(t)dt=E[x(t)]$$

为什么重要

实际问题： 我们只能观测一次信号，无法多次采样。

解决方案： 如果信号是遍历的，可以用时间平均代替集合平均。

$$\hat{\mu }=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$$$$\hat{R}(\tau )=\frac{1}{N}\sum _{n=0}^{N-1}x[n]x[n+\tau ]$$

---

高斯过程（Gaussian Process）

定义

高斯过程： 任意时刻的联合分布都是高斯分布。

$$p(x(t_1),x(t_2),\dots ,x(t_n))\sim \mathcal{N}(\mu ,\mathrm{\Sigma })$$

其中 $\mu$ 是均值向量，$\mathrm{\Sigma }$ 是协方差矩阵。

为什么重要

中心极限定理： 许多独立随机变量的和趋向于高斯分布。

例子：

• 热噪声：由大量随机电子运动产生 → 高斯分布
• 通信信号：多径衰落的叠加 → 高斯分布

高斯过程的性质

1. 完全由均值和协方差确定

   • 不需要知道高阶矩
   • 只需要 $\mu$ 和 $R(\tau )$

2. 线性变换后仍是高斯过程

   • 如果 $x(t)$ 是高斯过程
   • 那么 $y(t)=\int h(\tau )x(t-\tau )d\tau$ 也是高斯过程

3. 不相关与独立的关系

   • 对于联合高斯变量，不相关 ⟺ 独立
   • 这对非高斯过程不成立

---

白噪声和有色噪声

白噪声（White Noise）

定义： 功率谱密度在所有频率上都相等。

$$S(f)=N_0\text{（常数）}$$

自相关函数：

$$R(\tau )=N_0\delta (\tau )$$

其中 $\delta (\tau )$ 是狄拉克脉冲。

代码文件： code/ch01_dsp/random_signals.py
运行方式： python code/ch01_dsp/random_signals.py

图1.5：随机信号的典型表现。不同随机过程在时域波动、概率分布和统计结构上各不相同，因此需要用均值、方差、自相关和功率谱密度来描述。

性质：

• 任意两个不同时刻的值不相关
• 完全随机，无法预测
• 理想情况，实际不存在

例子：

热噪声：接近白噪声
量化噪声：接近白噪声

有色噪声（Colored Noise）

定义： 功率谱密度不均匀。

常见类型：

1. 粉红噪声（Pink Noise）

   • $S(f)\propto 1/f$
   • 低频功率强，高频功率弱
   • 例子：1/f闪烁噪声

2. 褐色噪声（Brown Noise）

   • $S(f)\propto 1/f^2$
   • 低频功率更强
   • 例子：随机游走

3. 蓝色噪声（Blue Noise）

   • $S(f)\propto f$
   • 高频功率强，低频功率弱
   • 例子：差分白噪声

处理方法： 用滤波器将有色噪声变成白噪声（白化）

---

实际应用

1. 通信系统

问题： 接收信号被加性高斯白噪声（AWGN）污染。

$$y[n]=x[n]+w[n]$$

其中 $w[n]$ 是AWGN。

应用：

• 信噪比（SNR）计算
• 接收机设计
• 信道容量分析

噪声的本质是不确定性。信息论把这种不确定性量化为熵：信号越随机、越难预测，熵越高，携带的信息量也越大。信道容量则描述了在给定噪声水平下，一条通信链路每秒最多能可靠传输多少信息。这个思想在后续章节会以不同形式出现：LLM 的训练目标（交叉熵损失）本质上就是在最小化模型对下一个 token 的不确定性，详见 第5章信息论基础。

2. 信号去噪

问题： 从噪声中恢复原始信号。

方法：

• 维纳滤波：利用信号和噪声的统计特性
• 卡尔曼滤波：处理时变系统
• 小波去噪：利用时频特性

3. 频谱估计

问题： 从有限长度的观测估计PSD。

方法：

• 周期图法：直接计算FFT的平方
• Welch方法：分段平均，减少方差
• 参数化方法：假设信号由AR/MA模型生成

4. 时间序列分析

应用：

• 股票价格预测：ARIMA模型
• 天气预报：时间序列模型
• 传感器数据分析：异常检测

5. 卷积与随机信号

问题： 卷积如何改变随机信号的统计特性？

背景： 卷积是信号处理的基本运算（详见 1.3 滤波器与卷积）。当卷积应用于随机信号时，输出信号的统计特性会发生变化。

观测模型：

$$y[n]=\sum _{m=0}^{M-1}h[m]x[n-m]=h[n]\ast x[n]$$

其中 $x[n]$ 是随机信号，$h[n]$ 是滤波器。

输出的自相关函数：

$$R_y(\tau )=\sum _{m_1=0}^{M-1}\sum _{m_2=0}^{M-1}h[m_1]h[m_2]R_x(\tau +m_2-m_1)$$

输出的功率谱密度（关键结论）：

$$S_y(f)=|H(f){|}^2{S}_x(f)$$

其中 $H(f)$ 是滤波器的频率响应。

直观理解：

• 滤波器改变信号的频率成分分布
• 低通滤波器：减弱高频噪声，保留低频信号
• 高通滤波器：增强高频成分，减弱低频成分
• 带通滤波器：只保留特定频率范围

实际应用：

1. 信号去噪

   • 问题：信号被高频噪声污染
   • 解决：用低通滤波器去掉高频噪声
   • 效果：$S_y(f)=|H_{\text{LP}}(f){|}^2{S}_x(f)$，高频成分被衰减

2. 特征提取

   • 问题：从复杂信号中提取关键特征
   • 解决：用带通滤波器提取特定频率成分
   • 例子：从ECG信号中提取心跳频率成分

3. 信道均衡

   • 问题：通信信号通过信道后失真
   • 解决：设计均衡滤波器 $H_{\text{eq}}(f)=1/H_{\text{channel}}(f)$
   • 效果：恢复原始信号的统计特性

4. 维纳滤波

   • 问题：在噪声中恢复信号
   • 解决：设计最优滤波器最小化MSE
   • 公式：$H_{\text{Wiener}}(f)=\frac{S_x(f)}{S_x(f)+S_w(f)}$
   • 效果：平衡信号保留和噪声抑制

---

本节小结

随机信号理论是信号处理的基础：

• 统计特性：均值、方差、自相关、PSD
• 平稳性：信号统计特性是否随时间变化
• 遍历性：时间平均是否等于集合平均
• 高斯过程：最常见的随机信号模型
• 噪声类型：白噪声和有色噪声
• 卷积应用：卷积如何改变随机信号的统计特性

理解这些概念对于设计滤波器、检测器和估计器至关重要。特别是，卷积定理 $S_y(f)=|H(f){|}^2{S}_x(f)$ 是信号处理中最重要的结论之一，它连接了时域操作（卷积）和频域特性（功率谱密度）。

---

与后续章节的联系

随机信号理论提供了描述“不确定性”的语言，后续章节会反复用到这套语言：

1. 随机性与概率分布

   • 语言建模本质上是在处理概率分布，而不是确定性输出

2. 平稳性与非平稳性

   • 序列任务往往同时包含稳定模式和局部变化，这和随机过程的分析框架一致

3. 自相关与依赖结构

   • 长程依赖可以用“相关性随距离衰减”的语言来理解

4. 噪声与信噪比

   • 训练和推理都需要在有用信号与扰动之间做权衡

这些概念在第 2 章优化、第 5 章训练数据和第 6 章评估中会继续出现。

---

下一节： 1.6 信号检测