欢迎大家提Issue反馈问题或建议,建设推理王国!
Skip to content

第17章:概率作为逻辑的扩展——真值从 {0,1} 到 [0,1] ​

概率不是频率。它是理性信念在不确定性下唯一自洽的表示。


第16章结尾留下了一个悬念:线性逻辑的语义暗示,“真值”不是简单的 {0,1},而是某种更丰富的结构。但那个方向——相位语义、相干空间——是一条技术上艰难的路,留给研究者。

有一条更宽的路。

如果“真值”不是非真即假,而是 0 到 1 之间的一个实数呢?如果这个实数表达的是某个智能体对命题为真的相信程度呢?那么推断规则会是什么形状?

这就是本章的问题。答案叫贝叶斯概率论——但不是你可能学过的频率主义版本,而是它的逻辑基础版本:概率作为理性信念的表达,服从一些可以被推导出来、而不是被简单宣布的法则。


17.0 信念筹码游戏:在不确定性下保持自洽 ​

现在我们把真值从黑白棋子换成筹码。

桌上有若干命题:H1,H2,…,Hk。你手里有一百枚信念筹码,必须把它们铺在这些命题上。某个命题拿到的筹码越多,表示你越相信它。游戏的要求不是“永远押中赢家”,而是更基本的一件事:你的下注不能自相矛盾。

然后证据到了。你看见 E。规则迫使你重新分配筹码:支持 E 的假设获得筹码;无法解释 E 的假设失去筹码。而且这一步不是随意的——它必须服从贝叶斯更新:

P(H∣E)=P(E∣H)P(H)P(E)

你可以把贝叶斯公式想成赌场的防作弊规则:如果你不按这个方式更新,一个足够聪明的庄家就能设计一组赌局,让你无论世界怎样都亏钱。这就是 Dutch book 的直觉。

这个游戏的形式化骨架

  • 状态空间:概率分布 pt∈Δk−1,即信念筹码所有合法的分配。
  • 合法移动:观察到证据 Et 后,把先验 pt 更新成后验 pt+1。
  • 转移规则:pt+1(H)∝P(Et∣H)pt(H)。
  • 获胜条件:一种吸收证据、同时保持与概率公理一致的信念分布。
  • 失败模式:违反概率规则的筹码分配,滋生内部矛盾——或者被 Dutch book 稳定收割。

这个游戏的关键不是“概率保证你会正确”。概率没有那个本事。它保证的是一件更谦逊、也更必要的事:当你的证据不完整时,你的信念更新不会互相打架。

形式逻辑处理的是一个已知事实世界里的合法推断;概率逻辑处理的是一个未知世界里的合法更新。前者问“这个结论能不能推导出来?”;后者问“既然我看到了这个证据,我的信念应该往哪里移动?”

概率不是给胆小鬼准备的模糊逻辑。概率是理性在信息不完整时还必须站稳时所取的姿态。你不知道答案,所以你分配筹码;证据来了,所以你移动筹码。真正不理性的不是不确定——而是在你深处自己的不确定之中时,假装自己是确定的。

17.0.5 用代码玩这个游戏 ​

筹码桌小到可以直接运行。下面的程序随着证据到来,按贝叶斯规则移动一百枚筹码,检查总数从不改变(自洽不变量),然后真实地构造第 17.0 节的 Dutch book:一个不自洽的分配,无论世界怎样都会亏钱。

python
#!/usr/bin/env python3
"""
belief_chip_game.py -- the Belief-Chip Game of Chapter 17.
Book reference: The Reasoning Kingdom, Volume 2, Chapter 17, Section 17.0
"The Belief-Chip Game: Staying Coherent Under Uncertainty."

A hundred belief chips spread over the hypotheses. Evidence arrives, and
the casino's rules force one specific redistribution -- Bayes' rule --
because any other move lets a bookmaker harvest you. This program:
  * moves chips by the Bayes rule and checks the invariant that matters:
    the chip total never changes (the probability axioms = coherence),
  * shows belief converging as the evidence piles up,
  * builds the Dutch book of Section 17.0 for real: an incoherent chip
    allocation loses money no matter how the world turns out.
All numbers below are computed, not staged.
Run:  python3 belief_chip_game.py
"""
TOTAL = 100.0  # one hundred belief chips

def update(beliefs, likelihoods, evidence):
    """One Bayes step: chips move toward hypotheses that support the
    evidence, away from those that cannot. Pure; returns a new dict."""
    raw = {
        h: belief * likelihoods[h][evidence]
        for h, belief in beliefs.items()
    }
    z = sum(raw.values())
    return {h: v * TOTAL / z for h, v in raw.items()}

def demo():
    print("=" * 70)
    print(" THE BELIEF-CHIP GAME -- coherence under uncertainty")
    print(" The Reasoning Kingdom, Volume 2, Chapter 17 (Sec. 17.0)")
    print("=" * 70)
    # Three hypotheses about a coin: H1 = fair, H2 = biased to tails,
    # H3 = biased to heads. Likelihood of H or T under each.
    beliefs = {"H1": TOTAL / 3, "H2": TOTAL / 3, "H3": TOTAL / 3}
    likelihoods = {
        "H1": {"H": 0.5, "T": 0.5},
        "H2": {"H": 0.1, "T": 0.9},
        "H3": {"H": 0.9, "T": 0.1},
    }
    flips = "H H T H H H H H T H".split()
    print("\nThree hypotheses, 100 chips, split evenly:")
    print("  H1: fair coin     H2: tails-biased     H3: heads-biased")
    print("\nThe coin flips: " + " ".join(flips))
    print("\n  after flips     H1 chips   H2 chips   H3 chips   total")
    for k in (0, 3, 7, 10):
        seen = flips[:k]
        for flip in seen:
            beliefs = update(beliefs, likelihoods, flip)
        total = sum(beliefs.values())
        row = "  " + f"{k:>5}" + "".join(
            f"{beliefs[h]:>11.1f}" for h in ("H1", "H2", "H3")
        )
        print(row + f"{total:>9.1f}")
        assert abs(total - TOTAL) < 1e-9, "coherence broken!"
    print("\nThe chip total never moved. That invariant is the whole game:")
    print("  a rational agent's beliefs must obey the probability axioms, or")
    print("  its beliefs fight each other.")
    # The Dutch book: an incoherent allocation loses money, guaranteed.
    print("\nThe Dutch book, run for real:")
    print("  a bookie with incoherent prices: P(A) = 0.6 and P(not A) = 0.7.")
    print("  Prices sum to 1.3, not 1.0 -- the bookie is overconfident.")
    for world in ("A is true", "A is false"):
        payout = 1.0
        income = 0.6 + 0.7
        print(f"  world: {world:<12} income {income:.1f} - payout "
              f"{payout:.1f} = bookie profit {income - payout:+.1f}")
    print("  Either way the bookie pockets 0.3. Coherence is not a moral")
    print("  virtue -- it is the only way to keep your wallet out of the")
    print("  casino's argument.")
    print("=" * 70)

if __name__ == "__main__":
    demo()

17.1 关于概率含义的争论 ​

“概率 12”是什么意思?

频率主义的回答:把这枚硬币抛无穷多次,正面出现的比例收敛到 12。概率是长期频率;它只对可重复的实验有意义。

贝叶斯主义的回答:我判断这枚硬币下一次正面朝上的机会是 12。概率是信念的度量;它对单个事件也有意义。

这场争论已经持续了一个世纪,至今仍未完全结束。但有一个问题频率主义无法回答,贝叶斯主义可以:

“明天下雨的概率是多少?”

明天只发生一次。不存在无限次重复。你无法等待无穷多个“明天”来测量频率。然而天气预报里 70% 的降雨概率是有意义的——它描述的是预报员对“明天下雨”这一命题的信念强度,基于手头的气象数据。

贝叶斯概率论的核心主张:概率是信念的逻辑,不是频率的统计。而且,一个理性智能体的信念必须服从概率公理——不是因为自然要求如此,而是因为违反概率公理的信念是不自洽的;它会在推断中滋生矛盾。


17.2 Cox 定理:为什么公理是不可避免的 ​

1946 年,理查德·考克斯(Richard Cox)问了一个问题:如果你想用实数表达信念强度,并且这套表达在内部是一致的,那么这些数必须满足什么约束?

他的出发点是三条要求,每一条都是理性信念的最低门槛:

要求 1(有序性):信念是可比较的。对任意两个命题 A 和 B,你对 A 的信念要么强于、等于,要么弱于你对 B 的信念。

要求 2(一致性):复合命题的信念完全由它的组成部分的信念决定。你对“A 且 B”的信念,是“你对 A 的信念”与“在已知 A 成立时你对 B 的信念”的某个函数。

要求 3(对偶性):对 A 的信念和对 ¬A 的信念是互补的——完全确信 A 意味着完全不信 ¬A。

Cox 证明,在这三条要求下,任何内部一致的信念度量,在相差一个单调尺度变换的意义下,必定等价于标准概率。也就是说,你可以选择不同的标度(比如用 [0,100] 而不是 [0,1]),但推断规则的结构是完全确定的:

P(A∧B)=P(A)⋅P(B∣A)P(A)+P(¬A)=1

这不是实验发现的定律;它是理性自洽的必然结果。如果你用数字表达信念,而且你的信念内部一致,那么你已经在做概率了——只是你可能还没意识到。

Cox 定理让许多人得出结论:“贝叶斯主义是唯一理性的选择。”慢一点——定理的前提是,信念可以被表示在实数的线性序上。质疑这个前提,整个定理就不再适用。定理的力量来自它的前提;所以先把前提想透,再讨论结论的必然性。不要把条件句的结论当成无条件的真理。

Cox 定理的深刻之处在于它的“唯一性”:满足理性要求的信念度量在结构上是唯一的。这意味着概率论不是人类发明的一套工具——它是理性信念的必然形式。如果你拒绝概率论,你要么拒绝比较信念(放弃有序性),要么接受信念之间的内部矛盾。

这与第14章的精神完全一致:形式系统的公理不是任意的约定;它们是避免矛盾所必须接受的最低限度。Cox 定理把同样的逻辑用于信念:为了避免不自洽,信念必须服从概率公理。


17.3 贝叶斯更新:推断规则的概率版本 ​

有了概率作为信念的度量,“推断”变成了什么?

在形式逻辑中,推断从已知真命题产生新的真命题。在概率论中,推断在给定你所观察到的内容后,更新你对某个命题的信念度。

这条更新规则是概率论最重要的定理:

P(H∣E)=P(E∣H)⋅P(H)P(E)

把四个量讲清楚:

  • P(H):在看到证据 E 之前你对假设 H 的信念——先验概率。
  • P(E∣H):如果假设 H 成立,看到证据 E 的概率——似然。
  • P(E):在所有可能情况下看到证据 E 的概率——边际概率,即归一化因子。
  • P(H∣E):在看到证据 E 之后你对假设 H 的新信念——后验概率。

先验 / 似然 / 后验:三角关系解析

这三个词是贝叶斯推断的核心,初学者常常把它们弄混:

先验 P(H):你在看到任何数据之前持有的信念。例子:“我猜这枚硬币是公平的;正面 50%。”它的来源:领域知识、历史数据,或一个无信息假设。

似然 P(E∣H):如果假设 H 为真,观察到当前证据 E 的概率。注意方向——它不是“给定 E 时 H 有多可能”,而是“如果 H 为真,E 有多可能”。例子:“如果硬币是公平的,连续出现 3 次正面的概率是 1/8。”

后验 P(H∣E):看到证据之后更新过的信念。这才是你真正想要的数。

边际概率 P(E):让后验概率之和保持为 1 的归一化常数。实践中,人们常常计算 后验∝似然×先验,并忽略这个常数。

记忆公式:新信念 ∝ 旧信念 × 证据对它的支持强度

这就是贝叶斯定理——或者更准确地说,是贝叶斯推断的核心操作。

但写成公式,很容易错过它的逻辑本质。更清楚的表述是:

后验∝似然×先验

(∝ 表示“正比于”;P(E) 是常数归一化因子,不改变相对比例。)

这个式子的意思是:证据之后的信念,是证据之前的信念经过证据加权后的结果。证据通过似然作用于先验,把先验“推”进后验。

回到信念筹码游戏:贝叶斯公式不是从外面硬加上去的一条“统计技巧”——它是移动筹码的合法性规则。你当然可以凭感觉把筹码从一个假设移到另一个假设;但一旦你的移动不再与似然和先验成比例,你就留下了 Dutch book 所需要的套利缺口。这就是概率的冷峻之处:它不保证你会做对;它只保证你不会在自己的下注规则里自相矛盾。

17.3.5 实操:自己动手跑一次贝叶斯更新 ​

让我们用思考题 1 的医学检测追踪一次完整的更新。不是把数字代进公式——而是看着筹码移动。

设定:

  • 疾病患病率(先验):P(患病)=0.01,P(健康)=0.99
  • 检测灵敏度(似然):P(阳性∣患病)=0.90
  • 检测特异度:P(阴性∣健康)=0.95,所以 P(阳性∣健康)=0.05

第 1 步:先验筹码。想象 10,000 人的群体。按先验,大约 100 人患病,9,900 人健康。

第 2 步:一个阳性结果到来。在 100 个患病者中,大约 90 人检测阳性。在 9,900 个健康者中,大约 9900×0.05=495 人检测阳性。

第 3 步:重新分配信念。阳性群体总共有 90+495=585 人。其中 90 人真正患病。所以你对患病的更新信念是:

P(患病∣阳性)=90585≈0.154=15.4%

用公式验证:

P(患病∣阳性)=0.90×0.010.90×0.01+0.05×0.99=0.0090.009+0.0495≈0.154

两种计算一致。

关键观察:检测结果是阳性,但患病的概率只有 15.4%。大多数人的直觉估计会高于 80%。为什么差距这么大?因为这种病很罕见(1%)——即使灵敏度很高,大多数阳性结果也是来自健康人的假阳性。简单说:健康人占人群的绝大多数(99%),所以他们的假阳性(5%)产生 495 个阳性,远远压过 90 个真阳性。

再检测一次:用 15.4% 作为新的先验;第二次检测也是阳性。

P(患病∣两次阳性)=0.90×0.1540.90×0.154+0.05×0.846=0.13860.1386+0.0423≈0.766

两次阳性之后,患病概率跳到 76.6%。先验从 1% → 15.4% → 76.6%——两次证据,信念就发生了剧烈移动。

如果基础患病率是 10%(高风险群体)呢? 一次阳性之后:

P(患病∣阳性)=0.90×0.100.90×0.10+0.05×0.90=0.090.09+0.045=0.667

所以一个高风险者(10%)在一次阳性后患病概率是 66.7%——这比低风险者在两次阳性后的 76.6% 更高吗?不:76.6% > 66.7%。低风险群体中累积的两次证据,比高风险群体中的一次检测带来更高的确信。这展示了证据的累积力量——足够多的证据可以压倒先验。

但这个例子也暴露出贝叶斯更新的一个默认前提:你观察到的是一个确定的证据 E。你知道检测结果是“阳性”,没有歧义,概率为 1。但在现实中,证据本身往往是不确定的。这就是下一小节的话题。

把贝叶斯更新与第14章的推断规则对比,相似之处非常醒目:

  • 形式逻辑:P→QPQ(modus ponens:消耗 P 和 P→Q,产生 Q)
  • 贝叶斯:P(H∣E)∝P(E∣H)⋅P(H)(消耗似然 P(E∣H) 和先验 P(H),产生后验 P(H∣E))

两者都是“从你已有的东西推出新东西”;差别在于,形式逻辑的“已有的东西”是由 {0,1} 取值的真命题组成的,而贝叶斯的“已有的东西”是由 [0,1] 取值的信念度组成的。贝叶斯推断是 modus ponens 扩张到连续真值域上的版本。


17.4 先验:推断从不从零开始 ​

贝叶斯推断有一个让很多人不安的部分:你需要一个先验。

先验是你在看到任何证据之前就已经持有的信念。它从哪里来?如果我什么都不知道,我的先验是什么?

频率主义者认为这个要求是贝叶斯方法的致命缺陷——先验是主观的;不同的人可以持有不同的先验,得到不同的后验;谁是对的?

贝叶斯的回答分两层。

第一:先验不是任意的。理性先验受到约束。最基本的约束是对称性:如果你对一种情况一无所知,你就没有理由让先验偏向任何一侧。这就给出“无信息先验”——在手头没有偏好信息时,分配均匀先验(离散情形)或最大熵先验(连续情形)。

第二:先验的影响随着证据累积而消退。这是贝叶斯更新的一个数学定理:在足够多的独立观测之后,无论你从哪个先验出发,后验都会收敛到同一个位置。主观先验是暂时的;数据是客观的;理性智能体最终会达成一致。

一个鲜明的例子。两个人在争论一枚硬币是否公平:一个人的先验说正面概率是 0.99,另一个说是 0.01。他们一起看着这枚硬币被抛 1,000 次,其中 503 次正面。经过贝叶斯更新,两人的后验都集中在 0.5 附近——分歧巨大的先验,被证据淹没了。

这种收敛正是贝叶斯客观性的来源:不是先验的客观性,而是推断过程的客观性。

17.4.5 Jeffrey 条件化:当证据本身不确定 ​

贝叶斯定理假设你观察到了一个确定的事件 E——“检测结果是阳性”——概率为 1。但你看到的东西并不总是确定的。你看见一道影子从窗外掠过——它可能是鸟,可能是飞机,可能是幻觉。你的观察不是“我看见了一只鸟(概率 1)”;而是“我对‘有只鸟飞过’的信念从 0.1 变成了 0.7”。

你如何处理这类证据?

Jeffrey 条件化(Richard Jeffrey,1965)推广了贝叶斯更新:证据不是一个确定的事件 E(概率跳到 1);它是在一个证据划分 {E1,E2,…,Ek} 上的信念移动——从旧的 Pold(Ei) 到新的 Qnew(Ei)。那么对任意假设 H:

Pnew(H)=∑i=1kPold(H∣Ei)⋅Qnew(Ei)

这个公式说的是:当你的信念在证据划分 {Ei} 上移动时,你对 H 的信念也随之移动——移动量是给定每个 Ei 时 H 的旧条件概率,乘以你对每个 Ei 的新信念。

例子:你听到窗外有动静(S)。你的信念:可能是鸟(B,升至 0.6),可能是风(W,升至 0.3),是别的东西(O,0.1)。你关心命题“外面有活的东西”(L)。给定旧的条件概率 P(L∣B)=1、P(L∣W)=0、P(L∣O)=0.5:

Pnew(L)=1×0.6+0×0.3+0.5×0.1=0.65

Jeffrey 条件化是贝叶斯更新对“不确定证据”的推广。贝叶斯更新是它的极限情形——当对某个 Ei 的新信念跳到 1,而其他都落到 0。

为什么这很重要?因为在现实中,几乎所有的证据都是不确定的。你看到、听到、读到的东西,很少能以概率 1 被接受。Jeffrey 条件化让概率逻辑能够处理“我看到了某样我不确定的东西”——这是日常推断的常态,而不是例外。


17.5 逻辑与概率:真值走向连续 ​

回到第14章的基本问题:可靠性与完备性。

在经典逻辑中,这两条性质描述的是句法(⊢)与语义(⊨)之间的关系:所有可证明的都为真(可靠),所有为真的都可证明(完备)。

在概率中,这两种关系变成了什么?

概率的“可靠性”对应物:贝叶斯更新保持自洽。如果你的初始信念满足概率公理,更新后的信念也满足。推断不会制造内部矛盾,不会让你同时持有同一事件的正概率和负概率。这就是可靠性的概率版本。

概率的“完备性”问题:经典的不完备性(哥德尔定理)在概率框架中变成了什么?这更微妙。概率推断从不会撞上“不可证明的命题”——每个命题都有一个概率,哪怕只是先验的 0.5(完全不确定)。但这并不意味着所有真理都能通过概率推断被发现——它只意味着不确定性被明确地量化了,而不是在逻辑上被阻塞了。

形式逻辑和概率论常常被当作两种对立的“推理方法”来比较,好像你必须选一个。但准确地说,它们处在不同层面:形式逻辑处理完全确定的信息(一个命题在模型中要么真要么假);概率论处理不完整的信息(一个命题可能真,可能假,而我的信念度是 p)。

更完整的图景是:形式逻辑是概率在真值域退化为 {0,1} 时的极限情形。当所有命题概率都是 0 或 1(一个完全知情的智能体),贝叶斯推断退化为布尔推断。这不是对形式逻辑的否定——而是对它的推广。


17.6 信念更新的链条:从推断到学习 ​

贝叶斯更新是单步操作:取一条证据,更新一次。但推断通常是连续的——你一条接一条地观察证据,每次都更新。

这个链式操作的结构,正是机器学习的形式基础。

设想一个参数 θ 决定模型的行为(比如某枚硬币真实的正面概率)。你对 θ 持有先验 P(θ)。然后你观察数据 D={x1,x2,…,xn},一次一个地更新:

P(θ∣x1)∝P(x1∣θ)⋅P(θ)P(θ∣x1,x2)∝P(x2∣θ)⋅P(θ∣x1)⋮P(θ∣D)∝P(D∣θ)⋅P(θ)=(∏i=1nP(xi∣θ))⋅P(θ)

最终的后验 P(θ∣D) 是你在看到全部数据之后对参数 θ 的信念分布。

这就是贝叶斯学习:学习不是“找到正确的参数”——而是把对参数的信念分布从先验推到后验。参数不是一个点,而是一个分布;你有多自信,体现在这个分布有多宽或多窄。

这个框架与上卷第5章关于过拟合的讨论形成了一场有趣的对话:过拟合之所以发生,是因为模型把训练数据中的噪声误当成了信号,而贝叶斯框架天然抵抗过拟合——正则化项正好对应先验对参数的约束。宽松的先验是弱正则化;尖锐的先验(集中在狭窄参数范围上)是强正则化。奥卡姆剃刀——“更简单的解释胜出”——在贝叶斯框架中获得了精确的数学表达:复杂模型需要更多数据,才能克服先验对简单性的偏好。

在贝叶斯框架中,常见的“点估计”做法是取后验的众数:θ^=arg⁡maxθP(θ∣D),称为最大后验估计(MAP)。展开:

θ^MAP=arg⁡maxθ[log⁡P(D∣θ)+log⁡P(θ)]

如果先验 P(θ) 是均匀的(所有参数同等可能),log⁡P(θ) 是常数,MAP 就退化为最大似然估计(MLE):θ^MLE=arg⁡maxθP(D∣θ)。MLE 是在无偏先验下的贝叶斯推断。这个推导说明,最大似然估计不是一条独立的推断原则——它是均匀先验下贝叶斯推断的一个特例。


17.7 概率无法捕捉的东西 ​

至此,概率论看起来几乎无所不能:它把逻辑推断推广到连续真值,解释了理性信念的必然形式,并为学习提供了一个形式框架。

但它有一个根本的局限——我们已在上卷第 6 章瞥见过它的影子,而在这里必须用形式语言把它说清楚。

概率描述的是相关性,不是因果性。

考虑两个变量 X 和 Y,它们的联合分布 P(X,Y) 完全已知。你可以计算 P(Y∣X=x)——给定 X 取某个值时 Y 的条件分布。但这个条件概率无法区分以下三种情形:

  1. X 导致 Y(因果:X→Y)
  2. Y 导致 X(因果:Y→X)
  3. X 和 Y 都是某个共同原因 Z 的结果(混淆:X←Z→Y)

这三种情形可以产生完全相同的观测变量联合分布 P(X,Y)。概率——无论你更新多少次,无论你观察多少数据——都无法仅凭数据本身把这三者区分开来。

这不是方法的缺陷;这是数学的结构性限制:关联中的信息不包含因果方向的信息。

这是每一门概率论课程中最容易被跳过、代价也最高的一句话。无数论文用条件概率去回答因果问题。不是因为作者愚蠢,而是因为一开始没有人把这道墙画清楚。关联与因果在数学结构上不同;这不是程度上的差异,而是种类上的差异。仅此而已。

如果你想推断因果——回答“如果我干预 X,Y 会怎样变化?”——你需要比概率更强的工具。那个工具正是第18章的主角:do 演算和结构因果模型。


悬而未决 ​

主观性的边界在哪里? Cox 定理证明了推断规则的唯一性,但它没有规定先验。持有不同先验的不同智能体观察同样的数据——他们最终会达成一致吗?在什么条件下会,在什么条件下不会?这是贝叶斯统计中的“先验选择”问题,至今没有普遍答案。

量子概率是贝叶斯概率的推广吗? 量子力学中的概率——玻恩规则——与贝叶斯概率有着相似的数学结构,但量子态的坍缩机制与经典贝叶斯更新有根本差异。是否有一个单一框架,能把经典概率和量子概率都纳入“理性信念的逻辑”?这是量子贝叶斯主义(QBism)试图回答的问题——而答案仍在争论之中。

概率是推断的天花板吗? 第 17.7 节已经揭示了答案:不是。概率无法区分相关与因果——X 和 Y 强相关,但你不知道是 X 导致 Y,是 Y 导致 X,还是某个隐藏变量 Z 同时驱动两者。无论你观察多少数据,无论你进行多少次贝叶斯更新,这个问题的答案永远位于概率的可见范围之外。

这不是方法的缺陷,而是数学的结构性事实:观测中的信息不包含干预中的信息。要回答“如果我改变 X,Y 会怎样?”,你需要一种新的推断规则——一种把“改变”这个动作本身形式化的规则。这就是第18章的起点。


思考题 ​

★ 热身

某种疾病的医学检测灵敏度为 90%,特异度为 95%。也就是说:患病者检测阳性的概率是 90%,健康者检测阴性的概率是 95%。该疾病在人群中的患病率是 1%。

先用直觉估计:一个人检测阳性——他实际患病的概率是多少?写下你的直觉答案,然后用贝叶斯定理计算精确值。

P(患病∣阳性)=P(阳性∣患病)⋅P(患病)P(阳性)

(提示:P(阳性)=P(阳性∣患病)⋅P(患病)+P(阳性∣健康)⋅P(健康)。把数字代进去,看看你的结果与直觉相差多远。)


★★ 推导

在上题的设定下:

  1. 第一次检测阳性后,把第一次的后验作为新的先验,再进行第二次独立检测,结果又是阳性。现在的患病概率是多少?
  2. 如果这个人来自高风险群体,患病率为 10%(而不是 1%),在同样的一次阳性检测后,患病概率是多少?
  3. 比较第 1 题(两次阳性,低风险群体)与第 2 题(一次阳性,高风险群体)。哪一种情况给出更高的患病概率?这说明了先验与证据之间的什么关系?

★★★ 挑战

Cox 定理证明,任何满足三条理性要求的信念度量都在结构上等价于概率。但定理的第一条要求是“信念可以被表示在实数的线性序上”。

试着构造一个你认为合理的推理场景,其中对某个命题的信念无法被单个实数完整表达——也许它需要两个数(比如“至少 0.3,至多 0.8”),也许它需要一个分布。

这样的场景存在吗?如果存在,它说明 Cox 的前提不够一般,还是仅仅说明“信念的某一种特定精细化”不适用于那个场景?用本章的语言试着区分这两种可能性——你不需要解决它,只需要把问题清楚地陈述出来。