导读
GPT-4 在数学竞赛里赢了人类选手。GPT-6 在 PhD 级的科学推理测试上超过专家。所有人都在惊叹 AI 的“智能”。很少有人接着问一句:它在推理吗?
再往下是另一个问题:推理是什么?
认真想下去,事情会松掉:人的推理也许只是模式匹配的幻觉;逻辑推理在物理世界里也许根本不存在;我们说的“理解”,也许只是压缩的副产品。
这本书不教你怎么用 AI。它问的是:AI 为什么能推理,为什么不能,推理本身是什么。
它不给答案。它把人带到推理的边上——图灵、哥德尔、香农在这里熬过夜。
为什么要读这本书
觉得“AI 很神奇”就够了的人,这本书不合口味。
想弄明白下面这几件事的人,可以往下读:
- 大语言模型(LLM)在海量文本上训练,只干预测下一个词。几千亿参数,为什么一碰上简单的逻辑链就崩?
- 思维链(CoT)把推理一步一步写出来。它先抬高一截准确率,后来又坍回先验。为什么?
- P ≠ NP 讲的是宇宙自己的不对称,不是快慢。这话怎么讲?
- 任何足够强的推理系统,为什么都兜着自己解不了的问题?
那就是写给你的。
“AI 能做什么”只到表面。这本书往下钻一层:它为什么能,为什么不能。上卷用历史叙事和能跑的代码把直觉立起来;下卷用严格的形式语言把这层直觉钉成地基。
这是一次建构,而非综述
这本书的骨架是六件自己搭出来的活。不是文献综述,是为了弄懂推理到底是什么而动手做的:
1. OpenXOR v2:NP 问题的连续相图(第7章,附配套代码)
传统复杂度理论只说得出一个问题“属于”P 还是 NP,说不出某个具体实例有多难。OpenXOR 把这条界线变成一张连续相图:可解性不再是是或否,地图上标着它从哪里翻过去。参数一越阈值,行为就急转弯——那就是相变。这堆东西没有借来的成分:第7章放着完整的生成器和求解器代码(谓词检查点加 DPLL),在自己的机器上就能把整套实验跑一遍。
实例是随机的 3-CNF 谓词检查点:
临界密度
2. 永霖公式:AI 推理的本质性不完备
大语言模型在长链推理上会失败。不是参数不够。是对象层封闭、元层断裂:模型没法从内部检验自己。
永霖公式把这件事证了下来:链再长,最后都坍回先验锚点——手上没有证据时,模型会退回去给的那个答案:
:模型在第 步的推理分布 :训练数据的先验锚点 :真实的正确答案
对象层里,它生成推理链,自洽地跑。元层里,它要检验推理对不对,跨不出自己的参数。这跟停机问题的判断呼应:足够强的系统自己会生出盲点。两套机制各自独立。
CoT 的用处不在“越长越好”。它把有效推理窗口拉长了——坍缩之前那几步,才是推理真正在发生的地方。
-> [本书第12章:原创推导与解释]
3. ADS(自适应双搜索):启发式权重的信息论化
搜索和推理里,每一步都在权衡:跟着启发式走,还是自己探。传统法子用固定权重
ADS 拿熵来定
这里
-> [第8章 §6 与第10章 §6;ADS:启发式的信息论化]
4. Collins 优化器:触及压缩的物理极限(第11章,附配套脚本)
Adam、AdamW 这类优化器给每个参数存一份动量和二阶矩,内存开销是参数量的 3 倍。这份状态能不能压?
Collins 用随机化把状态压到
这里
实验在 Yi-34B-Chat 上做:34 倍压缩,性能掉不到 2%;64 倍,崩。这是数学边界,不是工程没调好。完整推导和实验(代码见第11章附录 collins_adam.py)在第11章 §5–§9。
5. 自注意力的因果拓扑重解释:一个思想实验
Self-Attention 的标准读法是信息检索(Query-Key-Value)。换个起点,从因果建模出发,能推出同一套数学结构,意义却厚得多。这不等于定理。它还是个猜想,精确的表述还没找到。
设位置
对共享维度求和(即爱因斯坦求和,也就是取迹),得到因果假设强度的标量:
再对候选原因做 softmax,就得到因果后验分布——即标准注意力矩阵。
推得出三件事:(1)
Transformer 于是不再只是函数拟合器,它是一台隐式的因果推断机器。注意力头的可解释性分析,也就有了因果的语言。
实验用 GPT-2 跑一个因果句:“Because the storm intensified, the ship finally sank.”最后一层平均 DAG 得分 0.810,随机基线是 0.5。差得远。这分数不是拟合出来的,是从架构的归纳偏置里长出来的。
这个思想实验还悬着:注意力矩阵能不能构成严格的结构因果模型(SCM)?多头注意力之间怎么分因果的工?Transformer 被钉在 Pearl 因果阶梯的头两层,第三层——反事实——对它关着门。那意味着什么?
6. 梯度规划井字棋:当搜索变成梯度下降(第10章 §8,附配套实现)
棋盘状态编成嵌入向量,棋盘规则编成因果图,搜索就变成嵌入空间里的梯度下降。脚本(完整代码见第10章附录)只用 NumPy:一个梯度规划的“因果模型”跟 MCTS 树搜索对打。结果是,先手不输,后手不赢。一盘棋讲完一句话:连续的启发式只做它已经学会的事。
你会看到什么
书分上下两卷,互为镜像。上卷给直觉,下卷给基础。分开读得通;合起来才是全貌。
上卷:推理的历史演变(第1–13章)
上卷顺着历史走,问题在前。每章先摆一个让人坐不住的问题,再沿人类回答它的脚印往前。
第一部分:推理的起源(第1–6章)
从热力学第二定律出发,看推理为什么是活命的需要。符号系统崛起又崩塌;向量空间改写“理解”这个词;流形假设解释高维数据里的暗秩序;统计相关性为什么永远换不来因果推理。
第二部分:推理的机制(第7–11章)
往下钻 AI 推理的机器。P vs NP 露出宇宙的计算不对称。启发式在“大致正确”和“精确正确”之间签一份契约。Transformer 用注意力重铺推理的地基。MCTS 在不确定里找路。Collins 优化器摸到高效推理的物理天花板。
第三部分:推理的边界(第12–13章)
永霖公式露出 AI 推理的不完备。哥德尔定理、停机问题、元层断裂,一起画出推理王国这张地图。边界不等于设计的尽头。它正是设计的起点。
番外篇
- 第9章番外:注意力即因果——从因果建模推自注意力的数学结构,看 Transformer 怎么成了一台隐式因果推断机器
- 第13章番外:暗线——十三章藏着的一条因果演绎链,从没明说过
下卷:推理的形式演绎(第14–23章)
下卷从地基往上重建。它不走历史,走逻辑的必然——每一章都是前一章剩下的问题逼出来的。没有一章是“顺便聊聊”。
风格是硬的:定义精确,论证完整,“大致如此”不收。叙事还在场:每个定义落地之前,你已经知道为什么要它。
演绎链:
第14章打地基:命题、推理规则、公理、证明,语法和语义从此分开。下卷每一章都从这里出发。
第15章问:这台机器可靠吗?哥德尔的两条不完备定理答了,顺手划出形式系统的硬边界。
第16章把“收缩”从结构规则里抽走:每个假设只用一次,推理成了资源调度。这就是线性逻辑,量子计算和内存安全的形式底座。
第17章把真值从
第18章给逻辑加进 do 算子
第19章把推导树的深度和计算复杂度接上。P/NP 不关机器快慢,它讲的是问题内部的结构。停机问题和哥德尔的自指在这里碰头。
第20章给“大致正确”上定义:可采纳性、一致性、PAC 学习框架。启发式不是工程上的让步,是一份带形式保证的契约。
第21章把学习当逆推断:看着观测到的定理,反推最省的公理集。泛化就是压缩的另一个说法。奥卡姆剃刀是信息论定理,不是哲学劝告。
第22章:系统强到某个份上,开始推关于自己的命题。Curry-Howard 对应、不动点定理——这里还没有人知道答案,也是还值得往前走的地方。
第23章回到永霖收敛,算“收敛有多快”:切空间 Hessian 的谱定压缩率,压缩率定有效推理窗口。窗口随规模怎么变,能解释 Scaling Law 那条直线为什么是直的——严格算出来的是格式,不是某一家的指数。它叫永霖推论:信息论加巴拿赫不动点定理,一条从柯西列长出来的对数曲线。
第9章番外试过一次:把注意力矩阵读成一张软因果邻接矩阵。softmax 是候选原因上的后验,注意力是一条因果边。这么读,第18章的 do 算子就从“一个矩阵操作”翻成“一次因果干预”,还带出一条能用数字检验的预测:干预一条注意力路径,输出应该沿因果路径变。这是李籽溪(兔狲教授)攒出来的东西,还在等检验。
这本书的使用方式
研究者:每章的“悬而未决”列着开放问题。那六件原创的活,各自指向还值得往下挖的方向。
工程师:上卷多数章节带“动手试试”,代码能跑。下卷的论证,解释得清哪些工程直觉对、哪些错。
学生:上卷按顺序读,从第1章开始,再进下卷。上卷给问题,下卷给工具。
只是好奇:直接跳到自己想看的那章。上卷各章尽量自足。下卷从第14章起读,它是后面每一章的地基。
致谢
梁永霖:把作者从自怜里拽出来的孩子。永霖公式用他的名字——不因为那个公式,因为那件事:被允许。
王乐祎:我的爱人,童话的编织者。书最难写的时候,是他把我拉回来。
推理王国的所有探险家:提 Issue、发 PR、来信指出哪句没讲清的读者——是你们让这本书继续长。
谢谢在推理边上探路的先驱:图灵、哥德尔、香农、Pearl。这本书站在他们的工作上。
在线阅读版谢谢 Datawhale——这个开源社区托管并维护着本书的网站。
走吧,进推理王国。
