概率论基础——处理不确定性的语言

兔狲教授的提示：在确定性的数学世界之外，存在着充满不确定性的现实世界。概率论是我们理解和处理不确定性的数学语言。从天气预报到医疗诊断，从金融风险到人工智能，概率思维是现代科学和工程的基本素养。

词条1：概率的基本概念

官方解释

概率空间：$(\mathrm{\Omega },\mathcal{F},P)$，其中：

• $\mathrm{\Omega }$：样本空间，所有可能结果的集合
• $\mathcal{F}$：事件域，$\mathrm{\Omega }$ 的子集构成的 $\sigma$-代数
• $P$：概率测度，满足：
  1. 非负性：$P(A)\ge 0$
  2. 规范性：$P(\mathrm{\Omega })=1$
  3. 可列可加性：对互斥事件 $A_1,A_2,\dots$，$P(\bigcup _i{A}_i)=\sum _{i}P(A_i)$

古典概型：如果样本空间有限且每个结果等可能，则 $P(A)=|A|/|\mathrm{\Omega }|$。

兔狲老师解释

概率就像'用数学描述可能性'。

小小猪举了个例子：抛一枚均匀硬币：

• $\mathrm{\Omega }=\{\mathrm{正}\mathrm{面},\mathrm{反}\mathrm{面}\}$
• $\mathcal{F}=\{\mathrm{\varnothing },\{\mathrm{正}\mathrm{面}\},\{\mathrm{反}\mathrm{面}\},\mathrm{\Omega }\}$
• $P(\mathrm{正}\mathrm{面})=1/2$，$P(\mathrm{反}\mathrm{面})=1/2$

掷一个均匀骰子：

• $\mathrm{\Omega }=\{1,2,3,4,5,6\}$
• 事件 $A=$ '点数为偶数' $=\{2,4,6\}$
• $P(A)=3/6=1/2$

概率解释：

• 频率派：长期频率的极限
• 贝叶斯派：主观信念的量化
• 形式派：满足公理的数学对象

思考题1：动手题

问题：计算以下概率：

1. 从52张扑克牌中随机抽一张，抽到红心的概率
2. 掷两个骰子，点数和为7的概率
3. 生日问题：23个人中至少两人生日相同的概率

思考题2：动脑题

问题：为什么需要 $\sigma$-代数？样本空间的所有子集不行吗？

思考方向：

• 测度论的技术要求
• 不可测集的例子
• 在实际应用中的影响

---

词条2：条件概率与独立性

官方解释

条件概率：$P(A|B)=P(A\cap B)/P(B)$，如果 $P(B)>0$。

乘法公式：$P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)$。

独立性：事件 $A,B$ 独立当且仅当 $P(A\cap B)=P(A)P(B)$。 等价地，$P(A|B)=P(A)$（如果 $P(B)>0$）。

全概率公式：如果 $B_1,B_2,\dots$ 是 $\mathrm{\Omega }$ 的划分，则 $P(A)=\sum _{i}P(A|B_i)P(B_i)$。

兔狲老师解释

条件概率是'已知某些信息后的概率'。

小海豹举了个例子：某种疾病在人群中的患病率为1%。 检测方法：患者检测阳性概率99%，健康人检测阳性概率5%。

问题：如果某人检测阳性，真正患病的概率是多少？

设 $A=$ 患病，$B=$ 检测阳性 $P(A)=0.01$，$P(B|A)=0.99$，$P(B|\mathrm{\neg }A)=0.05$ 由贝叶斯定理：$P(A|B)=P(B|A)P(A)/P(B)$$P(B)=P(B|A)P(A)+P(B|\mathrm{\neg }A)P(\mathrm{\neg }A)=0.99\times 0.01+0.05\times 0.99=0.0594$$P(A|B)=0.0099/0.0594\approx 0.1667$

只有16.67%！这就是基础率谬误。

思考题1：动手题

问题：证明以下性质：

1. 如果 $A,B$ 独立，则 $A,\mathrm{\neg }B$ 也独立
2. 如果 $A,B$ 独立且 $A,C$ 独立，$A$ 与 $B\cap C$ 不一定独立
3. 条件概率满足概率公理

问题：用全概率公式计算：从两个箱子（第一个3红2白，第二个1红4白）随机选一个箱子，再随机抽一个球，抽到红球的概率。

思考题2：动脑题

问题：贝叶斯定理为什么重要？它在科学方法中起什么作用？

思考方向：

• 贝叶斯推理 vs 频率派推理
• 先验知识的作用
• 在机器学习中的应用

---

词条3：随机变量与分布

官方解释

随机变量：$X:\mathrm{\Omega }\to \mathbb{R}$，满足对任意实数 $a$，$\{\omega :X(\omega )\le a\}\in \mathcal{F}$。

分布函数：$F_X(x)=P(X\le x)$。

离散随机变量：取值可数，用概率质量函数 $p(x)=P(X=x)$ 描述。

连续随机变量：取值连续，用概率密度函数 $f(x)$ 描述，满足 $P(a\le X\le b)={\int }_a^{b}f(x)dx$。

兔狲老师解释

随机变量是'数值化随机结果'。

兔狲教授举例说：掷两个骰子，定义随机变量：

• $X=$ 两个骰子点数之和（取值2到12）
• $Y=$ 较大点数（取值1到6）
• $Z=$ 两个点数是否相同（0或1）

离散分布例子：

• 伯努利分布：单次试验，成功概率 $p$
• 二项分布：$n$ 次独立伯努利试验的成功次数
• 泊松分布：单位时间内事件发生次数

连续分布例子：

• 均匀分布：在区间 $[a,b]$ 上等可能
• 正态分布：钟形曲线，自然界常见
• 指数分布：无记忆性的等待时间

思考题1：动手题

问题：设 $X\sim \text{Binom}(n,p)$，求：

1. $E[X]$（期望）
2. $\text{Var}[X]$（方差）
3. $P(X=k)$ 的最大值点（众数）

问题：设 $X\sim N(\mu ,{\sigma }^2)$，证明：

1. $E[X]=\mu$
2. $\text{Var}[X]={\sigma }^2$
3. 线性变换 $aX+b\sim N(a\mu +b,a^2{\sigma }^2)$

思考题2：动脑题

问题：正态分布为什么在自然界中如此常见？中心极限定理说明了什么？

思考方向：

• 独立同分布随机变量和的分布
• 正态分布的数学性质
• 在统计推断中的应用

---

词条4：期望与方差

官方解释

期望（均值）：$E[X]=\sum _{x}x\cdot p(x)$（离散）或 $\int x\cdot f(x)dx$（连续）。

方差：$\text{Var}[X]=E[(X-E[X]{)}^2]=E[X^2]-(E[X]{)}^2$。

标准差：${\sigma }_X=\sqrt{\text{Var}[X]}$。

协方差：$\text{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$。

相关系数：${\rho }_{XY}=\text{Cov}(X,Y)/({\sigma }_X{\sigma }_Y)$，$|\rho |\le 1$。

兔狲老师解释

期望是'平均结果'，方差是'波动程度'。

小小猪的比喻：投资两个项目：

• 项目A：50%概率赚100元，50%概率亏50元 $E[A]=0.5\times 100+0.5\times (-50)=25$ 元 $\text{Var}[A]=0.5\times (100-25{)}^2+0.5\times (-50-25{)}^2=5625$

• 项目B：确定赚25元 $E[B]=25$ 元，$\text{Var}[B]=0$

虽然期望相同，但A有风险（方差大）。

期望性质：

• 线性性：$E[aX+bY+c]=aE[X]+bE[Y]+c$
• 单调性：如果 $X\le Y$，则 $E[X]\le E[Y]$

方差性质：

• $\text{Var}[aX+b]=a^2\text{Var}[X]$
• $\text{Var}[X+Y]=\text{Var}[X]+\text{Var}[Y]+2\text{Cov}(X,Y)$
• 如果 $X,Y$ 独立，$\text{Var}[X+Y]=\text{Var}[X]+\text{Var}[Y]$

思考题1：动手题

问题：计算以下分布的期望和方差：

1. 伯努利分布 $\text{Bernoulli}(p)$
2. 均匀分布 $\text{Uniform}(a,b)$
3. 指数分布 $\text{Exp}(\lambda )$

问题：证明切比雪夫不等式：$P(|X-E[X]|\ge k\sigma )\le 1/k^2$。

思考题2：动脑题

问题：相关系数为什么重要？它度量了什么？有什么局限性？

思考方向：

• 相关与因果的区别
• 线性相关的局限性
• 在数据分析中的应用

---

词条5：大数定律与中心极限定理

官方解释

大数定律：样本均值收敛于期望。 弱大数定律：对任意 $\epsilon >0$，$\underset{n\to \mathrm{\infty }}{lim}P(|{\overline{X}}_n-\mu |\ge \epsilon )=0$。 强大数定律：$P(\underset{n\to \mathrm{\infty }}{lim}{\overline{X}}_n=\mu )=1$。

中心极限定理：独立同分布随机变量和的标准化形式依分布收敛于标准正态分布。

$$\frac{X_1+\cdots +X_n-n\mu }{\sigma \sqrt{n}}\to N(0,1)\text{（依分布）}$$

兔狲老师解释

大数定律是'稳定性'，中心极限定理是'规律性'。

小海豹举了个例子：抛硬币实验：

• 大数定律：随着抛的次数增加，正面比例越来越接近 $1/2$
• 中心极限定理：正面次数减去期望值（$n/2$）除以标准差（$\sqrt{n}/2$）近似服从正态分布

这意味着：

1. 长期平均趋于稳定（大数定律）
2. 波动有可预测的模式（中心极限定理）

应用意义：

• 质量控制：样本均值估计总体均值
• 假设检验：基于正态近似
• 蒙特卡洛方法：用随机抽样估计积分

思考题1：动手题

问题：用中心极限定理近似计算：

1. 抛1000次均匀硬币，正面次数在480到520之间的概率
2. 从均值为50、标准差为10的总体中抽100个样本，样本均值在49到51之间的概率

问题：模拟验证大数定律：用程序模拟抛硬币，画出正面比例随抛掷次数的变化图。

思考题2：动脑题

问题：大数定律和中心极限定理有什么区别和联系？它们各解决什么问题？

思考方向：

• 收敛类型的不同（概率收敛 vs 分布收敛）
• 应用场景的不同
• 在统计推断中的角色

---

词条6：概率在AI中的应用

官方解释

贝叶斯网络：用有向无环图表示变量间的条件依赖关系。

隐马尔可夫模型：状态不可见的马尔可夫过程。

概率图模型：结合图论和概率论表示复杂依赖关系。

变分推断：用简单分布近似复杂后验分布。

兔狲老师解释

概率是AI的'常识推理引擎'。

兔狲教授举例说：垃圾邮件过滤器：

• 变量：词语出现（如'免费'、'赢取'、'会议'）
• 目标：$P(\text{垃圾邮件}|\text{词语})$
• 方法：朴素贝叶斯（假设词语条件独立）

语音识别：

• 状态：音素或单词
• 观测：声学特征
• 模型：隐马尔可夫模型

推荐系统：

• 用户偏好建模为概率分布
• 用协同过滤估计条件概率

概率编程：用编程语言表达概率模型，自动进行推断。

思考题1：动手题

问题：实现朴素贝叶斯分类器：

1. 用训练数据估计先验概率和条件概率
2. 对新样本计算后验概率
3. 选择最大后验概率的类别

问题：用隐马尔可夫模型解决简单问题：给定观测序列，用维特比算法找最可能的状态序列。

思考题2：动脑题

问题：概率思维如何改变我们对AI的理解？从'确定规则'到'概率推理'的转变有什么意义？

思考方向：

• 处理不确定性的必要性
• 从逻辑推理到概率推理
• 可解释AI与概率模型

---

总结：概率思维

兔狲教授总结道：概率论不仅是数学工具，更是一种世界观：

1. 不确定性不是缺陷，而是现实：世界本质上是概率性的
2. 信息改变概率：贝叶斯定理告诉我们如何更新信念
3. 从个体到总体：大数定律连接微观随机性和宏观规律性
4. 从简单到复杂：中心极限定理揭示普遍模式

在AI中，概率提供了：

• 推理框架：从数据到结论的桥梁
• 学习算法：从经验中更新模型
• 决策理论：在不确定性下做出最优选择

掌握概率思维，你就掌握了理解复杂世界的关键。

小小猪的体会：原来不确定性可以用数学精确描述！

小海豹的反思：贝叶斯思维让我重新思考如何从证据中学习。

下一章预告：我们将学习统计学，如何从有限的数据中推断总体规律，这是机器学习的数据基础。