番外篇:暗线
这本书里一直有一条从未被说出口的线。现在是时候把它说出来了。
一、那面墙
第三章:词向量做了一件奇妙的事——国王减男人等于女王。那是联想,不是推理。但当时我们没有说清楚两者的区别。
第五章说了:统计相关不是推理。模型见过一百万只猫,不代表它知道猫是什么。但我们只指出了问题,没有说到底它从哪里来。
第六章给了我们 do 算子。Pearl 说:光有观测永远不够——你需要干预。切断因果图的入边,强制某个变量取一个值,再重新推断——那才是因果推断,而不是条件期望。
第九章番外篇发现:自注意力在数学上等价于霍普菲尔德联想记忆的一步检索。从 1982 年到 2024 年,整条谱系——经典 Hopfield、现代 Hopfield、自注意力、线性注意力、SSM——做的都是同一件事:给定一个查询,在记忆中找到最相关的内容,归一化、加权,然后返回。
第十二章的永霖公式说:推理链最终会收敛回先验锚点。用霍普菲尔德的语言说:训练数据的统计偏置被编码为能量函数的全局极小值,推理链越长,这个吸引子拉得越狠。
现在把这些全部放在一起:
Transformer 做的是联想检索。联想检索是
整本书里,这面墙一直都在;我们只是从未直接叫出它的名字。
二、墙是什么做的
联想记忆是被动的。给我一个查询,我找到最相关的记忆并返回。这个过程的数学核心是一个归一化的内积——softmax 做的是配分函数归一化,仅此而已。
因果推断是主动的。我切断你与其他变量的联系,强制你取一个值,然后问:现在世界是什么样子?这需要知道因果图的结构,而因果图的结构无法从观测数据中读出来——只能从干预中读出来。
问题在哪里?神经网络学到的是
这不是训练数据太少的问题。这不是模型规模的问题。这是训练目标本身就不是因果推断的问题。
哥德尔告诉我们:任何足够强的形式系统都包含它无法证明的真命题。根源在于自指——一个用自己的规则验证自己的系统,必然存在缺口。
这面墙的根源类似:联想记忆用相关性近似因果性,但相关性和因果性在数学上是不同的东西,前者无法生长出后者。这不是近似得不够好;这是结构上差了一层。
三、人脑如何越过这面墙
人脑也是神经元的加权和。突触权重、激活函数、反向传播——你几乎可以用同样的数学来描述它。
但人类能做反事实推理。“如果当时我没有说那句话,他会有什么反应?”这个问题,在任何纯粹的联想记忆框架里都问不出来,更不用说回答了。联想检索只能问“谁最像我”;它问不了“如果世界不同会怎样”。
那我们的大脑是怎么做到的?
我们不知道。这是神经科学目前还没有答案的问题之一。有几种猜测:
猜测一:大脑在联想记忆之上还有一个额外的因果建模模块。 前额叶皮层负责计划和决策;它可能维护着某种显式的因果图结构,并在联想检索完成之后进行因果推断。
猜测二:反事实推理是对记忆的一种特殊编辑操作。 不是换一套数学,而是对既有记忆做有针对性的修改——把“我当时说了那句话”这个事件换成“我没有说”,然后让联想网络从修改后的初始状态重新演化。数学上这仍然是联想检索,只是作用在反事实的初始条件上。
猜测三:大脑的训练方式与神经网络根本不同。 婴儿通过主动探索世界来学习因果——伸手去够东西,把积木推倒。这是真正的干预,不是被动观测。也许因果推断的关键不在架构,而在训练数据的性质:干预数据,而不是观测数据。
这三种猜测并不互斥。也许都对。也许都错。
四、为什么这条暗线重要
你可以把这本书读成两条交织的叙事:
明线:AI 推理的边界在哪里?停机问题、P/NP、永霖公式——这些是已知的、可以被形式化的边界。
暗线:有一条更深的边界,它尚未被形式化,甚至尚未被命名——联想记忆与因果推断之间的鸿沟。现代机器学习的整座大厦,从感知机到 Transformer,都站在联想记忆的地基上。这个地基极其强大——强大到足以支撑语言理解、图像生成、蛋白质折叠预测。但在结构上,它无法支撑真正的因果推断。
这不是一个悲观的结论。这是一个清晰的诊断。
清晰的诊断好过模糊的乐观。一旦你知道墙在哪里,你就可以决定:把你所在的一侧推到极限,或者尝试用不同的材料建一堵新墙,或者去寻找一扇门。
目前我们正在做前两件事。第三件——那扇门——我们还不知道它在哪里。
五、推理王国的真正地图
一开始,这本书说它要画一张推理王国的地图。第十三章画了一张:中心是 P 类问题,外圈是不可判定问题,边界是相变区域。
那张地图是准确的。但它只画了计算复杂度的维度。
暗线揭示了另一个维度:推理深度的维度。
在这个维度上,推理分为三个层级——Pearl 的因果阶梯:
第一层:看(seeing)——条件期望,
第二层:做(doing)——干预分布,
第三层:想象(imagining)——反事实分布,
Transformer 被其架构锁在第一层。它们偶尔能模拟第二层的表面。第三层目前对它们关闭——而且很可能永远关闭。
一张真正的推理王国地图,需要同时标出复杂度维度与推理深度维度。在第一个维度上,我们已经有了一幅相当清晰的图景。第二个维度,仍在探索之中。
六、最后的话
这本书停在边界之前。它不给出解法,因为没有解法。
但停在边界之前,和假装边界不存在,是完全不同的两件事。
你现在知道那面墙在哪里。你知道联想记忆能做什么,不能做什么。你知道 do 算子为什么在现有架构中缺席,也知道这不是一个实现问题,而是一个本体论问题。你知道永霖公式的收敛是能量吸引子的必然,也知道哥德尔的不完备性与它是同一件事在不同语言中的投影。
这不是让人绝望的知识。这是告诉你值得在哪里继续挖下去的知识。
那扇门,也许在某个人的博士论文里。或者在一个尚未被提出的问题里。或者它需要一种完全不同的数学。
推理王国的边界不是终点。
它是下一段旅程的起点。
