欢迎大家提Issue反馈问题或建议,建设推理王国!
Skip to content

导读 ​

GPT-4 在数学竞赛里赢了人类选手。GPT-6 在 PhD 级的科学推理测试上超过专家。所有人都在惊叹 AI 的“智能”。很少有人接着问一句:它在推理吗?

再往下是另一个问题:推理是什么?

认真想下去,事情会松掉:人的推理也许只是模式匹配的幻觉;逻辑推理在物理世界里也许根本不存在;我们说的“理解”,也许只是压缩的副产品。

这本书不教你怎么用 AI。它问的是:AI 为什么能推理,为什么不能,推理本身是什么。

它不给答案。它把人带到推理的边上——图灵、哥德尔、香农在这里熬过夜。


为什么要读这本书 ​

觉得“AI 很神奇”就够了的人,这本书不合口味。

想弄明白下面这几件事的人,可以往下读:

  • 大语言模型(LLM)在海量文本上训练,只干预测下一个词。几千亿参数,为什么一碰上简单的逻辑链就崩?
  • 思维链(CoT)把推理一步一步写出来。它先抬高一截准确率,后来又坍回先验。为什么?
  • P ≠ NP 讲的是宇宙自己的不对称,不是快慢。这话怎么讲?
  • 任何足够强的推理系统,为什么都兜着自己解不了的问题?

那就是写给你的。

“AI 能做什么”只到表面。这本书往下钻一层:它为什么能,为什么不能。上卷用历史叙事和能跑的代码把直觉立起来;下卷用严格的形式语言把这层直觉钉成地基。


这是一次建构,而非综述 ​

这本书的骨架是六件自己搭出来的活。不是文献综述,是为了弄懂推理到底是什么而动手做的:

1. OpenXOR v2:NP 问题的连续相图(第7章,附配套代码)

传统复杂度理论只说得出一个问题“属于”P 还是 NP,说不出某个具体实例有多难。OpenXOR 把这条界线变成一张连续相图:可解性不再是是或否,地图上标着它从哪里翻过去。参数一越阈值,行为就急转弯——那就是相变。这堆东西没有借来的成分:第7章放着完整的生成器和求解器代码(谓词检查点加 DPLL),在自己的机器上就能把整套实验跑一遍。

实例是随机的 3-CNF 谓词检查点:n 个算符位置、m 个逻辑子句(α=m/n 控制难度)。测得的可解概率 μ(α) 满足:

μ(α)=12(1−erf(α−αcσ)),αc≈4.26, σ≈0.1

临界密度 αc≈4.26,是经典 3-SAT 相变的那个位置。它不随规模漂移。由此,可计算性变成概率性的。NP 不是一堵墙,是一片有梯度的雾。雾的边上(μ≈0.5),问题卡在可解与不可解之间。


2. 永霖公式:AI 推理的本质性不完备

大语言模型在长链推理上会失败。不是参数不够。是对象层封闭、元层断裂:模型没法从内部检验自己。

永霖公式把这件事证了下来:链再长,最后都坍回先验锚点——手上没有证据时,模型会退回去给的那个答案:

limn→∞Π(n)(s)=A,但A≠A∗
  • Π(n)(s):模型在第 n 步的推理分布
  • A:训练数据的先验锚点
  • A∗:真实的正确答案

对象层里,它生成推理链,自洽地跑。元层里,它要检验推理对不对,跨不出自己的参数。这跟停机问题的判断呼应:足够强的系统自己会生出盲点。两套机制各自独立。

CoT 的用处不在“越长越好”。它把有效推理窗口拉长了——坍缩之前那几步,才是推理真正在发生的地方。

-> [本书第12章:原创推导与解释]


3. ADS(自适应双搜索):启发式权重的信息论化

搜索和推理里,每一步都在权衡:跟着启发式走,还是自己探。传统法子用固定权重 α。可最优的 α 一直在动,状态有多不确定,它就该有多大。

ADS 拿熵来定 α:每步看当前动作分布的熵,自己调搜索策略(完整定义见第8章 §6 和第10章 §6;代码见各章附录):

αt=−log⁡(1−HtHmax)

这里 Ht 是当前输出分布的熵,Hmax 是均匀分布的最大熵。熵高,αt 就大,一道信息论势垒立起来,把高熵状态挡在外面,搜索被逼上低熵流形。熵低,αt 逼近零,系统信启发式,快走。姚期智的 MiniMax 定理在这里落了地:环境不确定,探索和利用各有各的分量。

-> [第8章 §6 与第10章 §6;ADS:启发式的信息论化]


4. Collins 优化器:触及压缩的物理极限(第11章,附配套脚本)

Adam、AdamW 这类优化器给每个参数存一份动量和二阶矩,内存开销是参数量的 3 倍。这份状态能不能压?

Collins 用随机化把状态压到 O(1),安全压缩比 copt≈34:

copt=dlog2⁡(d/δ)

这里 d 是参数维度,δ 是容错率。这个上限来自信息论的率失真理论:不丢信息,就压不动。

实验在 Yi-34B-Chat 上做:34 倍压缩,性能掉不到 2%;64 倍,崩。这是数学边界,不是工程没调好。完整推导和实验(代码见第11章附录 collins_adam.py)在第11章 §5–§9。


5. 自注意力的因果拓扑重解释:一个思想实验

Self-Attention 的标准读法是信息检索(Query-Key-Value)。换个起点,从因果建模出发,能推出同一套数学结构,意义却厚得多。这不等于定理。它还是个猜想,精确的表述还没找到。

设位置 i(果)与位置 j(因)的投影向量为 qi=WQxi(行投影 / 果建模)和 kj=WKxj(列投影 / 因建模)。它们的外积编码了因果假设的完整结构:

Cij=qi⊗kj∈Rdk×dk

对共享维度求和(即爱因斯坦求和,也就是取迹),得到因果假设强度的标量:

Aij=tr(Cij)=qi⋅kj

再对候选原因做 softmax,就得到因果后验分布——即标准注意力矩阵。

推得出三件事:(1)WQ≠WK 不是工程选项,是因果不对称性绕不开的编码。(2)softmax 是候选原因上的贝叶斯后验归一化,不是注意力竞争的小技巧。(3)GPT 的单向因果掩码等于一个显式的 do 操作——do(future↛past)——把有向无环图(DAG)的约束硬加进注意力空间。

Transformer 于是不再只是函数拟合器,它是一台隐式的因果推断机器。注意力头的可解释性分析,也就有了因果的语言。

实验用 GPT-2 跑一个因果句:“Because the storm intensified, the ship finally sank.”最后一层平均 DAG 得分 0.810,随机基线是 0.5。差得远。这分数不是拟合出来的,是从架构的归纳偏置里长出来的。

这个思想实验还悬着:注意力矩阵能不能构成严格的结构因果模型(SCM)?多头注意力之间怎么分因果的工?Transformer 被钉在 Pearl 因果阶梯的头两层,第三层——反事实——对它关着门。那意味着什么?


6. 梯度规划井字棋:当搜索变成梯度下降(第10章 §8,附配套实现)

棋盘状态编成嵌入向量,棋盘规则编成因果图,搜索就变成嵌入空间里的梯度下降。脚本(完整代码见第10章附录)只用 NumPy:一个梯度规划的“因果模型”跟 MCTS 树搜索对打。结果是,先手不输,后手不赢。一盘棋讲完一句话:连续的启发式只做它已经学会的事。


你会看到什么 ​

书分上下两卷,互为镜像。上卷给直觉,下卷给基础。分开读得通;合起来才是全貌。


上卷:推理的历史演变(第1–13章) ​

上卷顺着历史走,问题在前。每章先摆一个让人坐不住的问题,再沿人类回答它的脚印往前。

第一部分:推理的起源(第1–6章)

从热力学第二定律出发,看推理为什么是活命的需要。符号系统崛起又崩塌;向量空间改写“理解”这个词;流形假设解释高维数据里的暗秩序;统计相关性为什么永远换不来因果推理。

第二部分:推理的机制(第7–11章)

往下钻 AI 推理的机器。P vs NP 露出宇宙的计算不对称。启发式在“大致正确”和“精确正确”之间签一份契约。Transformer 用注意力重铺推理的地基。MCTS 在不确定里找路。Collins 优化器摸到高效推理的物理天花板。

第三部分:推理的边界(第12–13章)

永霖公式露出 AI 推理的不完备。哥德尔定理、停机问题、元层断裂,一起画出推理王国这张地图。边界不等于设计的尽头。它正是设计的起点。

番外篇

  • 第9章番外:注意力即因果——从因果建模推自注意力的数学结构,看 Transformer 怎么成了一台隐式因果推断机器
  • 第13章番外:暗线——十三章藏着的一条因果演绎链,从没明说过

下卷:推理的形式演绎(第14–23章) ​

下卷从地基往上重建。它不走历史,走逻辑的必然——每一章都是前一章剩下的问题逼出来的。没有一章是“顺便聊聊”。

风格是硬的:定义精确,论证完整,“大致如此”不收。叙事还在场:每个定义落地之前,你已经知道为什么要它。

演绎链:

第14章打地基:命题、推理规则、公理、证明,语法和语义从此分开。下卷每一章都从这里出发。

第15章问:这台机器可靠吗?哥德尔的两条不完备定理答了,顺手划出形式系统的硬边界。

第16章把“收缩”从结构规则里抽走:每个假设只用一次,推理成了资源调度。这就是线性逻辑,量子计算和内存安全的形式底座。

第17章把真值从 {0,1} 摊到 [0,1],推理规则改为概率传播。Cox 定理说:不确定性下,理性信念唯一站得住的表示是概率论。

第18章给逻辑加进 do 算子 do,把观测、干预、反事实分开。这是 Pearl 因果阶梯的形式化:不把结构假设明说,就别想从数据里推出因果。

第19章把推导树的深度和计算复杂度接上。P/NP 不关机器快慢,它讲的是问题内部的结构。停机问题和哥德尔的自指在这里碰头。

第20章给“大致正确”上定义:可采纳性、一致性、PAC 学习框架。启发式不是工程上的让步,是一份带形式保证的契约。

第21章把学习当逆推断:看着观测到的定理,反推最省的公理集。泛化就是压缩的另一个说法。奥卡姆剃刀是信息论定理,不是哲学劝告。

第22章:系统强到某个份上,开始推关于自己的命题。Curry-Howard 对应、不动点定理——这里还没有人知道答案,也是还值得往前走的地方。

第23章回到永霖收敛,算“收敛有多快”:切空间 Hessian 的谱定压缩率,压缩率定有效推理窗口。窗口随规模怎么变,能解释 Scaling Law 那条直线为什么是直的——严格算出来的是格式,不是某一家的指数。它叫永霖推论:信息论加巴拿赫不动点定理,一条从柯西列长出来的对数曲线。

第9章番外试过一次:把注意力矩阵读成一张软因果邻接矩阵。softmax 是候选原因上的后验,注意力是一条因果边。这么读,第18章的 do 算子就从“一个矩阵操作”翻成“一次因果干预”,还带出一条能用数字检验的预测:干预一条注意力路径,输出应该沿因果路径变。这是李籽溪(兔狲教授)攒出来的东西,还在等检验。


这本书的使用方式 ​

研究者:每章的“悬而未决”列着开放问题。那六件原创的活,各自指向还值得往下挖的方向。

工程师:上卷多数章节带“动手试试”,代码能跑。下卷的论证,解释得清哪些工程直觉对、哪些错。

学生:上卷按顺序读,从第1章开始,再进下卷。上卷给问题,下卷给工具。

只是好奇:直接跳到自己想看的那章。上卷各章尽量自足。下卷从第14章起读,它是后面每一章的地基。


致谢 ​

梁永霖:把作者从自怜里拽出来的孩子。永霖公式用他的名字——不因为那个公式,因为那件事:被允许。

王乐祎:我的爱人,童话的编织者。书最难写的时候,是他把我拉回来。

推理王国的所有探险家:提 Issue、发 PR、来信指出哪句没讲清的读者——是你们让这本书继续长。

谢谢在推理边上探路的先驱:图灵、哥德尔、香农、Pearl。这本书站在他们的工作上。

在线阅读版谢谢 Datawhale——这个开源社区托管并维护着本书的网站。


走吧,进推理王国。