第17章:概率作为逻辑的扩展——真值从 {0,1} 到 [0,1]
概率不是频率。它是理性信念在不确定性下唯一自洽的表示。
第16章结尾留下了一个悬念:线性逻辑的语义暗示,“真值”不是简单的
有一条更宽的路。
如果“真值”不是非真即假,而是 0 到 1 之间的一个实数呢?如果这个实数表达的是某个智能体对命题为真的相信程度呢?那么推断规则会是什么形状?
这就是本章的问题。答案叫贝叶斯概率论——但不是你可能学过的频率主义版本,而是它的逻辑基础版本:概率作为理性信念的表达,服从一些可以被推导出来、而不是被简单宣布的法则。
17.0 信念筹码游戏:在不确定性下保持自洽
现在我们把真值从黑白棋子换成筹码。
桌上有若干命题:
然后证据到了。你看见
你可以把贝叶斯公式想成赌场的防作弊规则:如果你不按这个方式更新,一个足够聪明的庄家就能设计一组赌局,让你无论世界怎样都亏钱。这就是 Dutch book 的直觉。
这个游戏的形式化骨架
- 状态空间:概率分布
,即信念筹码所有合法的分配。 - 合法移动:观察到证据
后,把先验 更新成后验 。 - 转移规则:
。 - 获胜条件:一种吸收证据、同时保持与概率公理一致的信念分布。
- 失败模式:违反概率规则的筹码分配,滋生内部矛盾——或者被 Dutch book 稳定收割。
这个游戏的关键不是“概率保证你会正确”。概率没有那个本事。它保证的是一件更谦逊、也更必要的事:当你的证据不完整时,你的信念更新不会互相打架。
形式逻辑处理的是一个已知事实世界里的合法推断;概率逻辑处理的是一个未知世界里的合法更新。前者问“这个结论能不能推导出来?”;后者问“既然我看到了这个证据,我的信念应该往哪里移动?”
概率不是给胆小鬼准备的模糊逻辑。概率是理性在信息不完整时还必须站稳时所取的姿态。你不知道答案,所以你分配筹码;证据来了,所以你移动筹码。真正不理性的不是不确定——而是在你深处自己的不确定之中时,假装自己是确定的。
17.0.5 用代码玩这个游戏
筹码桌小到可以直接运行。下面的程序随着证据到来,按贝叶斯规则移动一百枚筹码,检查总数从不改变(自洽不变量),然后真实地构造第 17.0 节的 Dutch book:一个不自洽的分配,无论世界怎样都会亏钱。
#!/usr/bin/env python3
"""
belief_chip_game.py -- the Belief-Chip Game of Chapter 17.
Book reference: The Reasoning Kingdom, Volume 2, Chapter 17, Section 17.0
"The Belief-Chip Game: Staying Coherent Under Uncertainty."
A hundred belief chips spread over the hypotheses. Evidence arrives, and
the casino's rules force one specific redistribution -- Bayes' rule --
because any other move lets a bookmaker harvest you. This program:
* moves chips by the Bayes rule and checks the invariant that matters:
the chip total never changes (the probability axioms = coherence),
* shows belief converging as the evidence piles up,
* builds the Dutch book of Section 17.0 for real: an incoherent chip
allocation loses money no matter how the world turns out.
All numbers below are computed, not staged.
Run: python3 belief_chip_game.py
"""
TOTAL = 100.0 # one hundred belief chips
def update(beliefs, likelihoods, evidence):
"""One Bayes step: chips move toward hypotheses that support the
evidence, away from those that cannot. Pure; returns a new dict."""
raw = {
h: belief * likelihoods[h][evidence]
for h, belief in beliefs.items()
}
z = sum(raw.values())
return {h: v * TOTAL / z for h, v in raw.items()}
def demo():
print("=" * 70)
print(" THE BELIEF-CHIP GAME -- coherence under uncertainty")
print(" The Reasoning Kingdom, Volume 2, Chapter 17 (Sec. 17.0)")
print("=" * 70)
# Three hypotheses about a coin: H1 = fair, H2 = biased to tails,
# H3 = biased to heads. Likelihood of H or T under each.
beliefs = {"H1": TOTAL / 3, "H2": TOTAL / 3, "H3": TOTAL / 3}
likelihoods = {
"H1": {"H": 0.5, "T": 0.5},
"H2": {"H": 0.1, "T": 0.9},
"H3": {"H": 0.9, "T": 0.1},
}
flips = "H H T H H H H H T H".split()
print("\nThree hypotheses, 100 chips, split evenly:")
print(" H1: fair coin H2: tails-biased H3: heads-biased")
print("\nThe coin flips: " + " ".join(flips))
print("\n after flips H1 chips H2 chips H3 chips total")
for k in (0, 3, 7, 10):
seen = flips[:k]
for flip in seen:
beliefs = update(beliefs, likelihoods, flip)
total = sum(beliefs.values())
row = " " + f"{k:>5}" + "".join(
f"{beliefs[h]:>11.1f}" for h in ("H1", "H2", "H3")
)
print(row + f"{total:>9.1f}")
assert abs(total - TOTAL) < 1e-9, "coherence broken!"
print("\nThe chip total never moved. That invariant is the whole game:")
print(" a rational agent's beliefs must obey the probability axioms, or")
print(" its beliefs fight each other.")
# The Dutch book: an incoherent allocation loses money, guaranteed.
print("\nThe Dutch book, run for real:")
print(" a bookie with incoherent prices: P(A) = 0.6 and P(not A) = 0.7.")
print(" Prices sum to 1.3, not 1.0 -- the bookie is overconfident.")
for world in ("A is true", "A is false"):
payout = 1.0
income = 0.6 + 0.7
print(f" world: {world:<12} income {income:.1f} - payout "
f"{payout:.1f} = bookie profit {income - payout:+.1f}")
print(" Either way the bookie pockets 0.3. Coherence is not a moral")
print(" virtue -- it is the only way to keep your wallet out of the")
print(" casino's argument.")
print("=" * 70)
if __name__ == "__main__":
demo()17.1 关于概率含义的争论
“概率
频率主义的回答:把这枚硬币抛无穷多次,正面出现的比例收敛到
贝叶斯主义的回答:我判断这枚硬币下一次正面朝上的机会是
这场争论已经持续了一个世纪,至今仍未完全结束。但有一个问题频率主义无法回答,贝叶斯主义可以:
“明天下雨的概率是多少?”
明天只发生一次。不存在无限次重复。你无法等待无穷多个“明天”来测量频率。然而天气预报里 70% 的降雨概率是有意义的——它描述的是预报员对“明天下雨”这一命题的信念强度,基于手头的气象数据。
贝叶斯概率论的核心主张:概率是信念的逻辑,不是频率的统计。而且,一个理性智能体的信念必须服从概率公理——不是因为自然要求如此,而是因为违反概率公理的信念是不自洽的;它会在推断中滋生矛盾。
17.2 Cox 定理:为什么公理是不可避免的
1946 年,理查德·考克斯(Richard Cox)问了一个问题:如果你想用实数表达信念强度,并且这套表达在内部是一致的,那么这些数必须满足什么约束?
他的出发点是三条要求,每一条都是理性信念的最低门槛:
要求 1(有序性):信念是可比较的。对任意两个命题
要求 2(一致性):复合命题的信念完全由它的组成部分的信念决定。你对“
要求 3(对偶性):对
Cox 证明,在这三条要求下,任何内部一致的信念度量,在相差一个单调尺度变换的意义下,必定等价于标准概率。也就是说,你可以选择不同的标度(比如用
这不是实验发现的定律;它是理性自洽的必然结果。如果你用数字表达信念,而且你的信念内部一致,那么你已经在做概率了——只是你可能还没意识到。
Cox 定理让许多人得出结论:“贝叶斯主义是唯一理性的选择。”慢一点——定理的前提是,信念可以被表示在实数的线性序上。质疑这个前提,整个定理就不再适用。定理的力量来自它的前提;所以先把前提想透,再讨论结论的必然性。不要把条件句的结论当成无条件的真理。
Cox 定理的深刻之处在于它的“唯一性”:满足理性要求的信念度量在结构上是唯一的。这意味着概率论不是人类发明的一套工具——它是理性信念的必然形式。如果你拒绝概率论,你要么拒绝比较信念(放弃有序性),要么接受信念之间的内部矛盾。
这与第14章的精神完全一致:形式系统的公理不是任意的约定;它们是避免矛盾所必须接受的最低限度。Cox 定理把同样的逻辑用于信念:为了避免不自洽,信念必须服从概率公理。
17.3 贝叶斯更新:推断规则的概率版本
有了概率作为信念的度量,“推断”变成了什么?
在形式逻辑中,推断从已知真命题产生新的真命题。在概率论中,推断在给定你所观察到的内容后,更新你对某个命题的信念度。
这条更新规则是概率论最重要的定理:
把四个量讲清楚:
:在看到证据 之前你对假设 的信念——先验概率。 :如果假设 成立,看到证据 的概率——似然。 :在所有可能情况下看到证据 的概率——边际概率,即归一化因子。 :在看到证据 之后你对假设 的新信念——后验概率。
先验 / 似然 / 后验:三角关系解析
这三个词是贝叶斯推断的核心,初学者常常把它们弄混:
先验
似然
后验
边际概率
记忆公式:新信念 ∝ 旧信念 × 证据对它的支持强度
这就是贝叶斯定理——或者更准确地说,是贝叶斯推断的核心操作。
但写成公式,很容易错过它的逻辑本质。更清楚的表述是:
(
这个式子的意思是:证据之后的信念,是证据之前的信念经过证据加权后的结果。证据通过似然作用于先验,把先验“推”进后验。
回到信念筹码游戏:贝叶斯公式不是从外面硬加上去的一条“统计技巧”——它是移动筹码的合法性规则。你当然可以凭感觉把筹码从一个假设移到另一个假设;但一旦你的移动不再与似然和先验成比例,你就留下了 Dutch book 所需要的套利缺口。这就是概率的冷峻之处:它不保证你会做对;它只保证你不会在自己的下注规则里自相矛盾。
17.3.5 实操:自己动手跑一次贝叶斯更新
让我们用思考题 1 的医学检测追踪一次完整的更新。不是把数字代进公式——而是看着筹码移动。
设定:
- 疾病患病率(先验):
, - 检测灵敏度(似然):
- 检测特异度:
,所以
第 1 步:先验筹码。想象 10,000 人的群体。按先验,大约 100 人患病,9,900 人健康。
第 2 步:一个阳性结果到来。在 100 个患病者中,大约 90 人检测阳性。在 9,900 个健康者中,大约
第 3 步:重新分配信念。阳性群体总共有
用公式验证:
两种计算一致。
关键观察:检测结果是阳性,但患病的概率只有 15.4%。大多数人的直觉估计会高于 80%。为什么差距这么大?因为这种病很罕见(1%)——即使灵敏度很高,大多数阳性结果也是来自健康人的假阳性。简单说:健康人占人群的绝大多数(99%),所以他们的假阳性(5%)产生 495 个阳性,远远压过 90 个真阳性。
再检测一次:用 15.4% 作为新的先验;第二次检测也是阳性。
两次阳性之后,患病概率跳到 76.6%。先验从 1% → 15.4% → 76.6%——两次证据,信念就发生了剧烈移动。
如果基础患病率是 10%(高风险群体)呢? 一次阳性之后:
所以一个高风险者(10%)在一次阳性后患病概率是 66.7%——这比低风险者在两次阳性后的 76.6% 更高吗?不:76.6% > 66.7%。低风险群体中累积的两次证据,比高风险群体中的一次检测带来更高的确信。这展示了证据的累积力量——足够多的证据可以压倒先验。
但这个例子也暴露出贝叶斯更新的一个默认前提:你观察到的是一个确定的证据
把贝叶斯更新与第14章的推断规则对比,相似之处非常醒目:
- 形式逻辑:
(modus ponens:消耗 和 ,产生 ) - 贝叶斯:
(消耗似然 和先验 ,产生后验 )
两者都是“从你已有的东西推出新东西”;差别在于,形式逻辑的“已有的东西”是由
17.4 先验:推断从不从零开始
贝叶斯推断有一个让很多人不安的部分:你需要一个先验。
先验是你在看到任何证据之前就已经持有的信念。它从哪里来?如果我什么都不知道,我的先验是什么?
频率主义者认为这个要求是贝叶斯方法的致命缺陷——先验是主观的;不同的人可以持有不同的先验,得到不同的后验;谁是对的?
贝叶斯的回答分两层。
第一:先验不是任意的。理性先验受到约束。最基本的约束是对称性:如果你对一种情况一无所知,你就没有理由让先验偏向任何一侧。这就给出“无信息先验”——在手头没有偏好信息时,分配均匀先验(离散情形)或最大熵先验(连续情形)。
第二:先验的影响随着证据累积而消退。这是贝叶斯更新的一个数学定理:在足够多的独立观测之后,无论你从哪个先验出发,后验都会收敛到同一个位置。主观先验是暂时的;数据是客观的;理性智能体最终会达成一致。
一个鲜明的例子。两个人在争论一枚硬币是否公平:一个人的先验说正面概率是 0.99,另一个说是 0.01。他们一起看着这枚硬币被抛 1,000 次,其中 503 次正面。经过贝叶斯更新,两人的后验都集中在 0.5 附近——分歧巨大的先验,被证据淹没了。
这种收敛正是贝叶斯客观性的来源:不是先验的客观性,而是推断过程的客观性。
17.4.5 Jeffrey 条件化:当证据本身不确定
贝叶斯定理假设你观察到了一个确定的事件
你如何处理这类证据?
Jeffrey 条件化(Richard Jeffrey,1965)推广了贝叶斯更新:证据不是一个确定的事件
这个公式说的是:当你的信念在证据划分
例子:你听到窗外有动静(
Jeffrey 条件化是贝叶斯更新对“不确定证据”的推广。贝叶斯更新是它的极限情形——当对某个
为什么这很重要?因为在现实中,几乎所有的证据都是不确定的。你看到、听到、读到的东西,很少能以概率 1 被接受。Jeffrey 条件化让概率逻辑能够处理“我看到了某样我不确定的东西”——这是日常推断的常态,而不是例外。
17.5 逻辑与概率:真值走向连续
回到第14章的基本问题:可靠性与完备性。
在经典逻辑中,这两条性质描述的是句法(
在概率中,这两种关系变成了什么?
概率的“可靠性”对应物:贝叶斯更新保持自洽。如果你的初始信念满足概率公理,更新后的信念也满足。推断不会制造内部矛盾,不会让你同时持有同一事件的正概率和负概率。这就是可靠性的概率版本。
概率的“完备性”问题:经典的不完备性(哥德尔定理)在概率框架中变成了什么?这更微妙。概率推断从不会撞上“不可证明的命题”——每个命题都有一个概率,哪怕只是先验的 0.5(完全不确定)。但这并不意味着所有真理都能通过概率推断被发现——它只意味着不确定性被明确地量化了,而不是在逻辑上被阻塞了。
形式逻辑和概率论常常被当作两种对立的“推理方法”来比较,好像你必须选一个。但准确地说,它们处在不同层面:形式逻辑处理完全确定的信息(一个命题在模型中要么真要么假);概率论处理不完整的信息(一个命题可能真,可能假,而我的信念度是
更完整的图景是:形式逻辑是概率在真值域退化为
17.6 信念更新的链条:从推断到学习
贝叶斯更新是单步操作:取一条证据,更新一次。但推断通常是连续的——你一条接一条地观察证据,每次都更新。
这个链式操作的结构,正是机器学习的形式基础。
设想一个参数
最终的后验
这就是贝叶斯学习:学习不是“找到正确的参数”——而是把对参数的信念分布从先验推到后验。参数不是一个点,而是一个分布;你有多自信,体现在这个分布有多宽或多窄。
这个框架与上卷第5章关于过拟合的讨论形成了一场有趣的对话:过拟合之所以发生,是因为模型把训练数据中的噪声误当成了信号,而贝叶斯框架天然抵抗过拟合——正则化项正好对应先验对参数的约束。宽松的先验是弱正则化;尖锐的先验(集中在狭窄参数范围上)是强正则化。奥卡姆剃刀——“更简单的解释胜出”——在贝叶斯框架中获得了精确的数学表达:复杂模型需要更多数据,才能克服先验对简单性的偏好。
在贝叶斯框架中,常见的“点估计”做法是取后验的众数:
如果先验
17.7 概率无法捕捉的东西
至此,概率论看起来几乎无所不能:它把逻辑推断推广到连续真值,解释了理性信念的必然形式,并为学习提供了一个形式框架。
但它有一个根本的局限——我们已在上卷第 6 章瞥见过它的影子,而在这里必须用形式语言把它说清楚。
概率描述的是相关性,不是因果性。
考虑两个变量
导致 (因果: ) 导致 (因果: ) 和 都是某个共同原因 的结果(混淆: )
这三种情形可以产生完全相同的观测变量联合分布
这不是方法的缺陷;这是数学的结构性限制:关联中的信息不包含因果方向的信息。
这是每一门概率论课程中最容易被跳过、代价也最高的一句话。无数论文用条件概率去回答因果问题。不是因为作者愚蠢,而是因为一开始没有人把这道墙画清楚。关联与因果在数学结构上不同;这不是程度上的差异,而是种类上的差异。仅此而已。
如果你想推断因果——回答“如果我干预
悬而未决
主观性的边界在哪里? Cox 定理证明了推断规则的唯一性,但它没有规定先验。持有不同先验的不同智能体观察同样的数据——他们最终会达成一致吗?在什么条件下会,在什么条件下不会?这是贝叶斯统计中的“先验选择”问题,至今没有普遍答案。
量子概率是贝叶斯概率的推广吗? 量子力学中的概率——玻恩规则——与贝叶斯概率有着相似的数学结构,但量子态的坍缩机制与经典贝叶斯更新有根本差异。是否有一个单一框架,能把经典概率和量子概率都纳入“理性信念的逻辑”?这是量子贝叶斯主义(QBism)试图回答的问题——而答案仍在争论之中。
概率是推断的天花板吗? 第 17.7 节已经揭示了答案:不是。概率无法区分相关与因果——
这不是方法的缺陷,而是数学的结构性事实:观测中的信息不包含干预中的信息。要回答“如果我改变
思考题
★ 热身
某种疾病的医学检测灵敏度为 90%,特异度为 95%。也就是说:患病者检测阳性的概率是 90%,健康者检测阴性的概率是 95%。该疾病在人群中的患病率是 1%。
先用直觉估计:一个人检测阳性——他实际患病的概率是多少?写下你的直觉答案,然后用贝叶斯定理计算精确值。
(提示:
★★ 推导
在上题的设定下:
- 第一次检测阳性后,把第一次的后验作为新的先验,再进行第二次独立检测,结果又是阳性。现在的患病概率是多少?
- 如果这个人来自高风险群体,患病率为 10%(而不是 1%),在同样的一次阳性检测后,患病概率是多少?
- 比较第 1 题(两次阳性,低风险群体)与第 2 题(一次阳性,高风险群体)。哪一种情况给出更高的患病概率?这说明了先验与证据之间的什么关系?
★★★ 挑战
Cox 定理证明,任何满足三条理性要求的信念度量都在结构上等价于概率。但定理的第一条要求是“信念可以被表示在实数的线性序上”。
试着构造一个你认为合理的推理场景,其中对某个命题的信念无法被单个实数完整表达——也许它需要两个数(比如“至少 0.3,至多 0.8”),也许它需要一个分布。
这样的场景存在吗?如果存在,它说明 Cox 的前提不够一般,还是仅仅说明“信念的某一种特定精细化”不适用于那个场景?用本章的语言试着区分这两种可能性——你不需要解决它,只需要把问题清楚地陈述出来。
