欢迎大家提Issue反馈问题或建议,建设推理王国!
Skip to content

第23章:永霖推论——智能涌现与平凡方程 ​

智能不是例外,涌现也不是;它们只是一条平凡方程在不同尺度上的名字。


假设一个模型面前只有三个答案。它现在的信念是

p0=(0.20, 0.30, 0.50),

而训练数据留下的先验锚点是

A=(0.70, 0.20, 0.10).

第12章已经证明:只要步长落在合适的窗口里,这个信念会一步一步走向 A,而不是走向真实答案 A∗。收敛这件事,已经解决了。

但“会收敛”和“多快收敛”是两件事。你真正想知道的是:

  • 它走几步才到?
  • 是不是每个方向都一样快?
  • 换一个先验、换一个模型、换一个规模,速度会怎么变?

先看它真的走起来是什么样。下面这张表用第12章的推断算子迭代,步长取 η=0.183(这个数怎么来的,23.3 节会算;现在只看现象):

tpt‖pt−A‖2误差比值
0(0.200, 0.300, 0.500)0.648—
1(0.573, 0.156, 0.271)0.2170.335
2(0.621, 0.215, 0.163)0.1020.470
3(0.665, 0.223, 0.113)0.04380.429
4(0.684, 0.214, 0.102)0.02110.482
5(0.692, 0.206, 0.102)0.009970.473

两三步之后,误差每一步都大约乘上 0.45:0.648→0.217→0.102→0.0438→0.0211→0.00997。比值在 0.45 附近摆动。

这个 0.45,就是本章的主角。它叫压缩率,记作 ρ∗。

本章只做一件事:把这个数算出来,然后在一组真实模型的信念轨道上把它量出来。

这里会碰到另一条著名的曲线:scaling law。把损失画在双对数纸上,横轴是规模,它是一条直线。本章用三答案的单纯形做一件更基础的事:先把 ρ∗ 算清楚,再在真实模型的报告信念上量出半对数直线的斜率、不动点和柯西尾径;最后说明,半对数直线与双对数直线是两种不同的定律,不能互相冒充。

本章走五步 ​

  1. 23.1–23.3: 把“多快”压缩成一个数 ρ∗;
  2. 23.4: 说明这个数只由两个端点决定,端点从 Hessian 来;
  3. 23.5: 把 ρ∗ 画成一条半对数直线,算出窗口;
  4. 23.6: 在真实模型上验证切空间柯西列,量出收缩率;
  5. 23.7: 收束。

如果你时间不多,读 23.1、23.3、23.5、23.6 就够;23.2 和 23.4 回答的是“为什么”。

结论会反复出现同一个对象:

 ρ∗=κT−1κT+1 

其中 κT=λmax/λmin 是切空间 Hessian 的条件数。先不用管它怎么来;你只需要知道,它衡量的是能量面“最陡方向比最平方向陡多少倍”。这个数决定误差曲线的斜率,决定到达精度 ε 需要多少步,也决定读数上的“涌现”有没有动力学依据。除此之外,本章不需要第二个标量。

为什么叫“推论”?因为收敛性的发动机仍然是巴拿赫不动点定理,能量面仍然是信息论里的 KL 散度。本章没有换发动机,只是把发动机的功率读出来。

任何以概率单纯形为输出空间的智能系统,都绕不开这一段几何。

永霖推论 = 信息论的能量面 + 巴拿赫的完备性 + 一个速率。

本章的完备性来自巴拿赫不动点定理,而它出自两次世界大战之间的波兰数学学派。学派的故事,以及“为什么要把收敛放进完备空间”的方法论,放在第12章的波兰学派注记里。本章只使用这个结果,不复述历史。

引子:推理与训练是同一条路 ​

先把前向推理和反向训练放在同一张纸上。一次前向传播的输出,是单纯形上的一个点 p;CoT 的每一步,都是把这个点再往前推一次。第12章已经把这个“推”写成

F(p)=ΠX(p−ηPT∇E(p)),E(p)=DKL(A∥p).

这里的 A 不是从外部塞进去的先验,它是训练数据留下的标签分布。对固定的提示,A 是条件标签分布 Ptrain(Y∣X);换一个提示,A 就换一个点。逐题实验里锚点各不相同,原因就在这里。

反向训练的目标是交叉熵

L(p)=−∑yAylog⁡py.

把它拆开:

L(p)=H(A)+DKL(A∥p).

数据熵 H(A) 是常数,所以最小化交叉熵就是最小化 KL。所谓“最小熵训练”,严格说是“最小相对熵训练”:让模型分布 p 尽量靠近经验分布 A。对 p 求梯度,

∇pL=−Ap,

这正好是 E(p)=DKL(A∥p) 的梯度。所以在输出分布这一层,训练和推理不是两个能量面,是同一个能量面。

那为什么代码里看到的是 logits 的梯度 p−1y?因为 softmax 把 logits 映到单纯形,梯度要经过 softmax 的雅可比。对单个样本,

∂L∂z=p−1y;

对数据分布取期望,就是 p−A。这不是另一个方向,而是同一个梯度换了一组坐标:softmax 把 logits 映到单纯形,链式法则把 −A/p 变成 p−A。写开就是

(diag(p)−pp⊤)(−Ap)=p−A.

反向传播与前向推理共用同一个能量面,也都落在同一个切空间。本章的尺子从头到尾只有一把:切空间上的欧氏范数。

“经验单纯形”就是所有可能输出分布的集合:训练数据给它一个点 A,模型输出给它另一个点 p。训练把这个点往 A 拖,推理在证据到来时把它推离 A,然后又让它落回 A。两者都在同一个单纯形上走。约束 ∑ipi=1 意味着“所有分量同时加同一个数”这个方向没有意义——给 logits 加常数不改变 softmax,PT 也把这个法向分量删掉。所以真正能走的是切空间

T={v: ∑ivi=0}.

训练的反向梯度经过 softmax 雅可比后自动落在 T 上;推理的梯度用 PT 投影到 T 上。两边都被同一个约束逼到同一个切空间,于是看到同一个 Hessian:

HT=PTdiag(1Ai)PT.

参数空间的更新不在单纯形里;它经过输出映射推前,才落到切空间。所谓“切空间训练”,指的是输出分布的切向运动——参数本身并不在单纯形里走。

在 A 附近把两条动力学历线性化,误差都乘上 I−ηHT。HT 有 K−1 个特征值,但长期速率只由最慢和最快两个端点决定:

κT=λmaxλmin,ρ∗=κT−1κT+1.

这就是永霖推论。它不只是“推理时会多快回到先验”,也是“训练最后一段会多快贴住标签分布”。训练把 A 造出来,推理回到 A;两边接近 A 的最后一段,由同一对谱端点定价。

这是输出分布上的局部动力学:训练最后一段在单纯形上的切向运动。非凸、随机、有限样本和参数化决定怎么进入这一段,不决定这一段的斜率。本章只用切空间上的欧氏范数,KL 只做能量面,不做距离。

“最后一段”足够解释本章要解释的事。训练造出锚点,推理回到锚点;同一个条件数,给两段路定价。


23.1 把“多快”变成一个数 ​

先只看误差

et=pt−A.

收敛的意思是 et→0。“多快”的意思是:每一步 et 缩小多少倍。

先看一维 ​

如果误差是一个数,更新是 et+1=jet,那么答案很简单:j 就是每步的乘数。j=0.5 是每步减半,j=0.9 是每步只掉一成。

K 个答案的世界里,误差是一个向量,更新近似是一个矩阵:

et+1≈Jet.

矩阵在不同方向上的压缩不一样。它的特征值 ji 就是各个方向的乘数:沿第 i 个特征方向,误差每步乘 ji。

长期看,最慢的方向决定一切。 如果两个方向一个乘 0.9、一个乘 0.1,十步之后前者还有 0.35,后者只剩 10−10。快方向早就没了,误差的形状和速度都由慢方向说了算。

所以“多快”不是平均值,是最慢的那个乘数:

ρ=maxi|ji|.

把乘数矩阵写出来 ​

推断算子还是第12章那一个:

F(p)=ΠX(p−ηPT∇E(p)),E(p)=DKL(q∥p).

这里每个符号只做一件事:

  • E 是能量面,q=A 是锚点;
  • ∇E 是“往哪下山”;
  • PT 把梯度投到切空间,去掉“所有答案一起加减”的法向分量;
  • ΠX 把走出的点拉回概率单纯形。

在锚点处,能量面的曲率是

∇2E(A)=diag(1qi),HT=PT∇2E(A)PT.

HT 叫切空间 Hessian。它描述的是:在“概率总和不变”的约束下,能量面沿各个方向有多弯。

一步更新的导数——也就是误差的乘数矩阵——是

JT=IT−ηHT.

它的特征值是 1−ηλi(也就是前面那些乘数 ji 的多维版本),其中 λi 是 HT 的特征值。于是

ρ(η)=maxi|1−ηλi|.

别把两套特征值混了:λi 是能量面 HT 的曲率,1−ηλi 才是一步更新的乘数。前者说“坡有多陡”,后者说“这一步之后误差剩多少”。

为什么是 max,不是平均? 因为只要有一个方向缩得慢,它迟早会占满整个误差。快方向只是先退场,慢方向决定结局。

这不是上界,是精确值。

为什么说它是精确速率,而不是上界

JT 在切空间上对称,所以它的算子范数等于谱半径:

∥JT∥T→T=ρ(η).

对 A 附近的初始点,线性化误差的渐近速率精确等于 ρ(η):

limt→∞(∥pt−A∥2∥p0−A∥2)1/t=ρ(η).

(如果初始误差在主导特征方向上的分量不为零;否则只会更快。)

把这段压缩放到真实模型上,就是 23.6 节要做的事:不再画示意图,而是用切空间里的欧氏距离,直接量每一步还剩多少。

读数的方向:ρ 越大越慢。 这里的“速率”是每步剩下的比例,不是每步前进的多少。ρ=0.5 是每步砍一半,ρ=0.9 是每步只掉一成:1→0.9→0.81→0.729,十步之后还剩 0.35。所以 ρ 越接近 1 越慢,越小越快。半对数图上的斜率是 log10⁡ρ,负数;线越陡(越负)越快,线越平(越接近 0)越慢。

想让“数越大越快”,换两个量。 每步清掉的比例是 1−ρ;连续衰减率是 −ln⁡ρ(单位 nat/步)。C3 的 ρ∗=0.79:每步还剩 79%,清掉 21%,半衰期约 3 步;C4 的 ρ∗=0.35:每步还剩 35%,清掉 65%,半衰期约 0.67 步。换成 −ln⁡ρ,C3 是 0.23,C4 是 1.04,数越大越快。

别和步长 η 混。 η 是步子迈多大;ρ 是这一步之后误差还剩多少。步长不是越大越好:过了 η∗ 会过冲,ρ 反而回升。ρ∗ 里的“最优”是让保留比例最小,不是让速率最大。

这也是一笔学习效率的账。 把一次更新看成一次投入:步长 η 是投入——一次计算、一次采样、一次过冲的风险;清掉的误差 1−ρ 是产出。ρ 越大,每步收回的越少。要把误差从 d0 压到 ε,需要的步数约为

N(ε)≈ln⁡(d0/ε)−ln⁡ρ,

ρ 越大,分母越小,步数越多,总成本越高。所以 ρ 是成本侧的参数:它量的不是“学得多快”,而是“每一步之后还要付多少”。

单步的投入产出比可以写成 (1−ρ)/η,即每单位步长清掉多少误差。但只盯这个比值会漏掉总账:在 η≤η∗ 的线性化段里 ρ=1−ηλmin,这个比值恰好是常数 λmin,单步效率分不出步长的大小;差别在需要多少步。步长也不是越大越划算——过了 η∗,ρ 回升,步数和过冲风险一起上涨。ρ∗ 是这笔账的最优点:它让每一步的最坏保留比例最小,也就是让所需步数的上界最小。23.5 节会把这条账写成一条可以算的步数公式。

一句话: 压缩率就是最慢方向的保留比例;每一步之后,误差最多剩下 ρ 倍,而且这个“最多”可以达到。


23.2 为什么只需要两个端点 ​

HT 有 K−1 个特征值。你可能会担心:算速率是不是要把它们全部求出来?

不用。

先看一个更简单的问题。固定步长 η,把

g(λ)=|1−ηλ|

画出来:它是一条 V 形折线,最低点在 λ=1/η,两边都往上走。

我们要在区间 [λmin,λmax] 上找这个 V 形的最大值。V 形是凸的,凸函数在区间上的最大值只可能在两个端点。所以中间有多少个特征值、怎么分布,都不影响最坏情况。

引理 23.1. 设 λmin≤λi≤λmax。对任意 η>0,

maxi|1−ηλi|=max(|1−ηλmin|, |1−ηλmax|).

证明. 固定 η,函数 g(λ)=|1−ηλ| 是 λ 的凸函数(绝对值函数与仿射函数的复合)。凸函数在区间上的最大值必在端点取得。对每个 λi 都有 g(λi)≤max(g(λmin),g(λmax)),且端点本身就是特征值,所以等号成立。◻

这个引理把 K−1 维的谱压缩成两个数:最小值 λmin 和最大值 λmax。 中间有多少特征值、分布在哪里,都不影响压缩率。

它还给出稳定窗口的精确边界:

ρ(η)<1⟺0<η<2λmax.

为什么是这个边界?步长太大时,最快模式 1−ηλmax 会先越过 −1:误差开始正负翻转,越走越大。边界是精确的,不是“大约在这个范围”。

一句话: 只需盯住最平的方向和最陡的方向;中间那些特征值改变谱的形状,不改变最坏情况。


23.3 最优步长:让最慢和最快同时到位 ​

现在选步长。

步长太小,慢方向几乎不动,误差早早卡住;步长太大,快方向一步冲过头,来回振荡,甚至发散。最优步长在两者之间。

把两个端点的误差画成两条线:

  • 慢模式:|1−ηλmin|,随 η 增大而下降;
  • 快模式:|1−ηλmax|,随 η 增大而上升。

一条下降、一条上升,交点就是最优:

ρ∗=infη>0 max(|1−ηλmin|, |1−ηλmax|).

在最优点,两个分支相等:

1−ηλmin=ηλmax−1.

解出

η∗=2λmin+λmax,ρ∗=λmax−λminλmax+λmin=κT−1κT+1,κT=λmaxλmin.

这个步长是两个倒数曲率的调和平均。 令

a=1λmax,b=1λmin

分别是快模式、慢模式单独归零时的步长。最优步长是它们的调和平均:

η∗=2aba+b=2λmin+λmax.

它落在 a 和 b 之间,但比算术中点更靠近 a:在 η∗ 处,快模式已经越过零点,慢模式还没到,两者离零点的距离相等(代入可验:|1−η∗/a|=|1−η∗/b|=(b−a)/(a+b));这就是切比雪夫式的极小极大平衡。给定谱端点,一次算术就能算出步长,不需要二分搜索,也不需要手动试——这是定理 23.2 的算法读法。

别把这个平均用到速率上。 a,b 是步长(曲率的倒数),不是 [m(η),ρ(η)] 里的两个速率。对 m,ρ 取调和平均没有“最优步长”的含义;最优步长必须从 λmin,λmax 算,不能从压缩率区间反推。(23.6 从带里反推的是模型的实际有效步长,不是最优步长。)

κT 的名字叫条件数。在这里,它就是一个比值:最陡的方向比最平的方向陡多少倍。

定理 23.2(永霖推论的速率形式). 在稳定窗口内,ρ(η) 的最小值是 ρ∗,唯一最小值点是 η∗。并且

|1−η∗λmin|=|1−η∗λmax|=ρ∗.

也就是说,最优步长让最慢模式和最快模式以完全相同的速度收缩。

这个速率有四个精确性质,每一个都只需要一行代数:

  1. 范围。 0≤ρ∗<1。当 κT=1(所有切向特征值相等)时 ρ∗=0,一步到位;当 κT→∞ 时 ρ∗→1,收敛无限慢。
  2. 单调。 dρ∗dκT=2(κT+1)2>0。条件数越大,速率越差,没有例外。
  3. 可逆。 κT=1+ρ∗1−ρ∗。速率与条件数是一一对应的:知道速率就等于知道条件数,反之亦然。在这个意义上,ρ∗ 是条件数的完整不变量。
  4. 只依赖端点。 由引理 23.1,ρ∗ 只由 λmin,λmax 决定。中间的谱形状不进入公式。

第 3 条值得多看一眼。它说明“收敛多快”与“能量面多各向异性”不是两个独立的问题:它们是同一个数的两种写法。

这四条性质就是四行代数;不需要额外的图来支撑。

回到开头的例子。q=(0.70,0.20,0.10) 给出

λmin=2.9904,λmax=7.9620,κT=2.6625,η∗=0.18261,ρ∗=0.45393.

这就是表里的 0.183 和 0.45。这里 a=0.1256、b=0.3344,调和平均正是 0.1826。第一步的比值 0.335 是快方向的余威;几步之后慢方向接管,比值稳定在 0.454 附近。

谱调和步长法。 给定局部曲率界 μ≤λ≤L:令 a=1/L、b=1/μ,取 η=2ab/(a+b)=2/(μ+L),再检查 η<2/L(用估计的 μ,L 时这一步不能省),并确认谱界在当前位置仍成立。理想欧氏投影梯度模型里这是精确解;一般非线性网络中 μ,L 是局部界,曲率随位置变,每步要重估。

同样的代数在第 8 章 ADS 的熵调控里出现过:把障碍 α 读成曲率,η(α)=η0/(1+α) 对调和平均封闭——两个步长的调和平均,等于障碍取算术平均时的步长。那里被调控的是熵景观,这里被平衡的是谱端点;换的是坐标,不是结构。

一句话: 最优步长不是最快的步长,是让最慢和最快同时到位的步长。


23.4 两个端点从哪里来 ​

现在只剩最后一件事:λmin 和 λmax 从哪里来。

取一个 K=6 的例子,锚点

q=(0.35, 0.25, 0.15, 0.12, 0.08, 0.05).

图 23.1:Hessian 的三种读法——原始矩阵、切空间投影、以及切空间谱

把这张图读成三张图:原始 Hessian、投影之后的 Hessian、以及它的谱。

面板 (a):原始 Hessian——每个答案的“局部硬度” ​

∇2E(q)=diag(1q1,…,1qK)=diag(2.86, 4.00, 6.67, 8.33, 12.50, 20.00).

第 i 个对角元是 1/qi。答案越稀有,这个方向越陡。对角线之外全是零:如果概率可以独立变化,各个答案之间没有耦合。

但概率不能独立变化。它们必须加起来等于 1。这个约束会把非对角元“种”进去。

面板 (b):切空间 Hessian——约束把答案耦合起来 ​

投影之后,HT 的每个元素是

(HT)ij=δijqi−1K(1qi+1qj)+1K2∑k=1K1qk.

读法有三条:

  1. 每一行加起来为零。 全 1 方向是法向,HT1=0。所有答案同时加同一个数,信念不变。
  2. 对角元为正,总迹变小。 tr(HT)=(1−1/K)∑i1/qi=45.30,小于原始迹 54.36。约束吃掉了一部分总曲率。
  3. 非对角元大多为负,但不是全部为负。 两个最稀有的答案之间耦合很强地为负(q5 与 q6 之间是 −3.91):抬高一个,必须压低另一个。两个最常见的答案之间有一个小的正耦合(q1 与 q2 之间是 +0.37)。严格的陈述只有两条:行和为零,且在切空间上半正定。

一个类比:六个球穿在一根总长度固定的绳子上。你往左拉一个,其他球必须往右让。约束不是背景,它本身就是耦合的来源。

一个漂亮的特例:当 q 均匀时,1/qi=K,于是

HT=KPT=K(I−1K11⊤).

这是完全图 KK 的图拉普拉斯矩阵,特征值是 0(法向)和 K(切向,K−1 重)。均匀信念的切空间几何,就是“每个答案与每个其他答案都有一条等权边”的图。

面板 (c):切空间谱——只需要两端 ​

对这个锚点,切空间谱是

λ=(3.32, 5.24, 7.57, 11.13, 18.03).

所以

λmin=3.32,λmax=18.03,κT=5.43.
  • 最小特征值对应“在前两个最可能的答案之间重新分配质量”的慢模式;
  • 最大特征值对应“修正最稀有答案”的快模式;
  • 中间的三个特征值,对最优速率没有贡献。这就是引理 23.1 的实际含义。

图 23.2:切空间谱与原始对角线的交错;只有两个端点进入速率

图 23.2 面板 (a) 把久期方程的“交错”画了出来:灰色是原始对角线 di=1/qi,蓝色是切空间特征值。每个蓝色根都落在相邻两个灰色 level 之间,d(1)<λ1<d(2)<⋯。面板 (b) 换成 K=6 的三组锚点:均匀锚点的五个特征值全相等(κT=1);基线锚点给出 κT=5.43;接近顶点的锚点把所有特征值一起推高,但比值只到 5.70——切空间条件数被约束卡在 K=6 附近。中间那些特征值改变的是谱的形状,不改变 ρ∗。

如果你想算:切空间谱由一个标量方程决定

设 D=diag(d1,…,dK),di=1/qi,HT=PTDPT。对 x∈T,HTx=λx 等价于 PTDx=λx。因为 x∈T,PTx=x,所以 Dx−λx=c1,即 xi=c/(di−λ)。再用 ∑ixi=0,得到久期方程

∑i=1K1di−λ=0.

它的 K−1 个根就是切空间谱,并与 di 交错:

d(1)<λ1<d(2)<⋯<λK−1<d(K).

求 λmin 与 λmax 只需要在最小的两个 di 之间、最大的两个 di 之间各二分一次。对 K=3,久期方程化为

3s3λ2−2s2λ+1=0,s2=q1q2+q1q3+q2q3,s3=q1q2q3,

这正是第12章“直接证据”一节里出现的二次方程。

一个漂亮的极限:切空间条件数饱和到 K

原始 Hessian 在边界上会爆炸:qmin→0 时 1/qmin→∞。但切空间谱被约束夹住了。取对称顶点极限

q(t)=1−tK1+te1,t→1.

全空间条件数 qmax/qmin∼1/(1−t) 发散,切空间条件数却满足

κT→K.

数值上,K=5,10,50,200,1000 分别给出 κT=5.0000,10.0000,50.0000,199.9998,999.9990。原因是 K−1 个稀有答案的 di 相等,久期方程在那一段只拉出一个根 drare/K,其余 K−2 个根重合。约束把“一个极小概率”的爆炸,摊成了“K 个答案之间的耦合”。

图 23.3:全空间条件数发散,切空间条件数饱和到

图 23.3 面板 (a) 是 K=5 的对称顶点极限:红线是全空间条件数,随 t→1 对数发散;蓝线是切空间条件数,稳稳地贴在 K=5 上。面板 (b) 把谱按 λmin 归一化:最小值恒为 1,其余 K−2 个特征值一起升到 K。发散没有消失,它被约束重新分配成了“K 个答案之间”的耦合。

一句话: 端点不是猜的,是矩阵交出来的;约束把“一个极小的概率”的爆炸,摊成了“K 个答案之间”的耦合。


23.5 速率就是对数曲线的斜率 ​

回到表。误差是

0.648, 0.217, 0.102, 0.0438, 0.0211, 0.00997.

从第三个开始,每步大约乘 0.45。如果严格按 ρt 走,那么

ln∥pt−A∥2=ln∥p0−A∥2+tln⁡ρ.

这是 t 的一次函数。在半对数坐标上,它是一条直线,斜率就是 ln⁡ρ。

“几何收敛”四个字的意思也在这里:不是每次减少同样的距离,而是每次按同样的比例缩短。

这里要分清两种坐标:

  • 几何收敛在半对数坐标上是直线;
  • 幂律在双对数坐标上是直线。

它们是两种不同的定律,不是同一条曲线的两种画法。下一节的图 23.4 会用真实模型的轨道把这两种坐标各画一次:半对数上接近直线,双对数上弯曲。

以速率 ρ∗ 衰减时,到达精度 ε 的连续步数是

Nreal(ε)=ln⁡(∥p0−A∥2/ε)ln⁡(1/ρ∗),N(ε)=⌈Nreal(ε)⌉.

对基线 q=(0.70,0.20,0.10),代入 ρ∗=0.45393,取 ∥p0−A∥2=1、ε=0.1:

Nreal(0.1)=2.915,N(0.1)=3.

也就是说:大约三步。这与开头的表一致——第 2 步误差还是 0.102,第 3 步降到 0.0438。

下面给出一个更硬的说法:不用先算 ρ∗,直接用两个端点就能把窗口夹住。

定理 23.3(窗口的精确线性界). 对 κT>1,

κT−12ln⁡1ε ≤ Nreal(ε) ≤ κT2ln⁡1ε.

证明

令 x=2/(κT−1)>0。由 (κT+1)/(κT−1)=1+x,有

ln⁡1ρ∗=ln⁡κT+1κT−1=ln⁡(1+x).

两个标准不等式给出

2x2+x≤ln⁡(1+x)≤x.

代入 x=2/(κT−1):

2κT≤ln⁡1ρ∗≤2κT−1.

取倒数再乘 ln⁡(1/ε),即得结论。◻

这两个界都是精确的,不是渐近近似。它们把窗口夹在两条斜率分别为 (κT−1)/2 和 κT/2 的直线之间。

对基线 q=(0.70,0.20,0.10),精确界给出

2.6625−12ln⁡10=1.914 ≤ 2.915 ≤ 2.66252ln⁡10=3.065.

窗口落在界内,并且上下界只差 1.15 步。这不是“大概 3 步”,而是“精确地夹在 1.914 与 3.065 之间”。

一句话: 速率就是斜率;窗口是算出来的,不是感觉出来的。

下一节把这条区别带到真实模型上:如果轨道是几何收敛,半对数应该是直线;如果是幂律,双对数才应该是直线。我们用同一组 API 数据把两种坐标都画出来。


23.6 工业级验证:在真实模型上量一条柯西列 ​

上一节把两种坐标分开了:几何收敛在半对数上是直线,幂律在双对数上才是直线。现在把尺子拿到真实模型上,量一条真实的信念轨道。

这里的“工业级”指的是三件事:接口是真的(DeepSeek 的 chat completions),协议是固定的(同一提示、同一温度、同一步数),数据是可审计的(采数代码、分析代码、图都写在下面)。一个模型、两个任务,是一个案例;案例的每一步都留在仓库里,可以被重跑、被反驳。

为什么把尺子搬到切空间 ​

先解决一个度量问题。你可能想直接量相邻两步的 KL:

DKL(pt∥pt+1).

它不能当距离用。KL 不对称,不满足三角不等式;开放单纯形

ΔK−1={p: pi>0, ∑ipi=1}

也不是完备度量空间。在这样一个空间里谈“柯西列”,定义本身就不成立。

做法是把信念搬到切空间。令

T={v∈RK: ∑ivi=0},u=(1K,…,1K).

对 K=3,取一组正交基

e1=(1,0,−1)2,e2=(1,−2,1)6,

并定义坐标

x(p)=(⟨p−u,e1⟩, ⟨p−u,e2⟩).

因为任意两个概率向量之差都落在 T 里,所以

∥x(p)−x(q)∥2=∥p−q∥2.

T 与 RK−1 同构,是完备的。柯西列的定义终于有了落脚点:

∀ε>0, ∃N, ∀m>n≥N:∥xm−xn∥2<ε.

等价地,定义尾径

εN=maxm>n≥N∥xm−xn∥2,

序列是柯西列,当且仅当 εN→0。

如果报告信念的更新映射 F 在 T 上是一个压缩,即存在 ρ<1 使

∥F(x)−F(y)∥2≤ρ∥x−y∥2,

那么任意轨道都自动是柯西列:

∥xt−x∗∥2≤ρt∥x0−x∗∥2,

并且由巴拿赫不动点定理,不动点 x∗ 唯一。23.1–23.5 的 ρ∗ 是这条压缩在最优步长下的最小因子。这里要验证的是:真实模型的报告轨道是否也按某个 ρt 收缩、是否有唯一不动点。这里量的是模型实际走出的速率。ρ∗ 是理想算子在 η∗ 下的速率;模型用不用 η∗,实验会给出答案。

还有一把尺子值得对照。Bregman 切范数

dH(p,A)2=(p−A)⊤diag(1A)(p−A)

是 KL 在 A 附近的二阶主部。下面的分析同时算 dE(切空间欧氏距离)和 dH;六个轨道的两个速率差不超过 0.03。所以“用欧氏距离做柯西分析”不是偷懒,它和 Bregman 几何给出一致的读数。

为什么 dH 是 KL 的二阶主部

令 p=A+v,其中 ∑ivi=0。对每个分量展开

log⁡Aipi=−log⁡(1+viAi)=−viAi+vi22Ai2+O(vi3).

乘上 Ai 再求和,线性项是 −∑ivi=0,二次项是

∑iAi⋅vi22Ai2=12∑ivi2Ai=12dH(p,A)2.

所以 DKL(A∥p)=12dH(p,A)2+O(∥p−A∥3)。ρ∗ 在这把尺子下是精确的。

一句话: 不在单纯形上量 KL,把信念搬到切空间,用欧氏距离量柯西列。

实验设计:两个任务,三种起点 ​

实验协议:每步把当前信念写成一行文本,要求模型不要重新解题,只朝证据方向做一个小调整,并在最后用 \boxed{} 框出更新后的三元组;这个三元组就是下一步的输入。温度 0,每个任务三个起点,各 12 步。

实验用两个同族但条件数不同的任务。

任务 C3(两次 Blue 报告)。 袋子里有 7 个红球、2 个蓝球、1 个黑球。检测器以 0.70 的概率报对;报错时,在另外两种颜色上各以 0.15 的概率报。两次独立报告都是 Blue。先验是

π=(0.70, 0.20, 0.10),

似然是

ℓ=(0.152, 0.702, 0.152),

贝叶斯后验是

Aobs=(πiℓi)i∑jπjℓj=(0.1358, 0.8448, 0.0194).

任务 C4(一次 Blue 报告)。 同样的检测器,袋子里三种颜色各 4 个,先验是均匀的;只报告一次 Blue。于是

π=(13,13,13),ℓ=(0.15, 0.70, 0.15),Aobs=(0.1500, 0.7000, 0.1500).

为什么选这两个?因为它们共用一套几何,却把条件数拉开:C3 的 κT=8.60,ρ∗=0.792;C4 的 κT=2.10,ρ∗=0.355。如果模型的步长接近最优,C3 应该明显比 C4 慢;如果两个任务的实测速率差不多,说明模型用的不是 η∗,而是一个不随任务调整的步长。这个对照诊断模型的步长;ρ∗ 已经在 23.3 证完。

每个任务从三个起点出发:

(0.10,0.20,0.70),(13,13,13),(0.70,0.20,0.10).

第一个是黑球主导,第二个是中性,第三个是红球主导。三个起点离得很远,用来检验它们是否落到同一个不动点。每个任务迭代 12 步,温度 0,要求两位小数;两个任务共 2×3×12=72 次 API 调用。

在本章的记号里,Aobs 扮演的是这道题的锚点 A:题面把证据写进来之后,条件标签分布应该给出的点。第12章说模型会回到它的 A;这里我们把这个 A 解析地算出来,再看轨道是不是真的落到它上面。

一句话: 两个条件数、三个起点、十二步,检验的是同一个不动点和同一条压缩律。

结果:几何成立,模型有自己的步长 ​

先看表。

任务κTρ∗三条轨道的 ρemp半对数 R2
C3(两次 Blue)8.600.7920.610 / 0.653 / 0.7530.911–0.982
C4(一次 Blue)2.100.3550.711 / 0.754 / 0.7530.831–0.927

三条轨道是黑球主导、均匀、红球主导三个起点;ρemp 是在近锚点窗口 0.01<d<0.5 上对每条轨道单独做 log10⁡d 线性拟合得到的,ρemp=10b。三条轨道各给一个数,不合成一个平均速率。

图 23.4:真实模型上的切空间柯西列——不动点、半对数近似直线、双对数弯曲与尾径收缩

图 23.4 有四个面板,读法如下。

(a) 切平面:先看有没有共同的不动点。 横轴是 x1,纵轴是 x2;每条折线是一条轨道,空心点是起点,黑星是 Aobs。同一任务的三个起点,不管从哪里出发,都向同一个星靠近;C3 和 C4 的星不同,因为证据不同。这一面板回答的是“有没有不动点”,不回答“多快”。

(b) 半对数:再看是不是几何收敛。 纵轴是 log10⁡dE,横轴是步数 t。如果每步乘同一个 ρ,这里就是直线,斜率是 log10⁡ρ。每条轨道只画到它跌破两位小数读出下限(10−2)之前;再往后读数在末位上抖动,画出来只是噪声。C3 的拟合速率在 0.61–0.75,理论值 ρ∗=0.792 高于它们;原因见下文的经济学区间。C4 的理论值 ρ∗=0.355 对应更陡的斜率,但模型的轨道没有跟上。

(c) 双对数:检查它是不是幂律。 横轴是 log10⁡(t+1),纵轴是 log10⁡dE。如果轨道是幂律 d∝t−α,这里才是直线。同一组数据在这里整体向下弯;拟合指数从 −3.3 漂到 −1.8,随起点变。一个真正的幂律不会这样漂。半对数 R2 在 0.83–0.98,双对数 R2 在 0.82–0.93 之间;双对数的问题不只是 R2 略低,更是指数随起点不稳。所以更合适的描述是几何收敛,不是幂律。这里同样只画到读出下限以上,避免末端抖动干扰判断。

(d) 尾径:最后看柯西证书。 纵轴是 εN,横轴是 N。曲线下降,说明尾段越来越像同一个点;六条轨道都在第 6–11 步内穿过 ε=0.05。末端变平来自两位小数的读出下限:距离小到 10−2 量级,输出已经分不清了。这是这个窗口的经验证书。

读图的顺序可以记成六个字:定点、定律、证书。 (a) 定点,(b)(c) 定律,(d) 证书。

现在说结果里最值得注意的地方。C3 三条轨道的 ρemp 在 0.610–0.753 之间,都低于理论值 ρ∗=0.792;C4 三条轨道在 0.711–0.754 之间,都明显高于 ρ∗=0.355。两个数各说各的事。

  • ρ∗ 是定理 23.2 在最优步长 η∗ 下给出的最优速率,即 ρ∗=minη>0ρ(η)。它是理想投影梯度算子的最小压缩因子,也是理论上能达到的最快收敛速度。
  • ρemp 是模型在“一小步调整”提示下走出的速率。它用多大的步长,由模型自己决定。

C4 的差异说明模型没有停在 η∗。ρ∗ 没有错,模型没有走最优点。按理论,C3 应该比 C4 慢得多(0.792 对 0.355);实测两组几乎落在同一段,C3 是 0.610–0.753,C4 是 0.711–0.754。模型用的是自己的步长,不是理论最优步长。这不是异常:稳定窗口里的任何步长都合法,ρ∗ 只是其中最快的那一点。

把调和平均代进去,两个任务各自的最优步长是:C3 的 a=1/35.8959、b=1/4.1737,给出 η∗=2ab/(a+b)=0.0499;C4 的 a=1/6.6667、b=1/3.1746,给出 η∗=0.2032。模型的公共有效步长 0.044 离 C3 的最优值很近,离 C4 的最优值很远;这正解释了为什么 C3 的实测速率贴近自己的 ρ∗,而 C4 的远高于自己的 ρ∗。

两次实验的 m 与 ρ:两个居民同时存在。 直接把每个任务自己的带画出来。固定一个有效步长 η,线性化矩阵 JT=I−ηHT 的特征值是 1−ηλi。令

m(η)=mini|1−ηλi|,ρ(η)=maxi|1−ηλi|.

这一步之后,误差最少剩 m(η) 倍,最多剩 ρ(η) 倍;所以每个步长给出的合法速率是一条带 [m(η),ρ(η)]。m 是收回最多的那一端,ρ 是收回最少的那一端;带宽 ρ−m 是这个步长下不同模式的分歧,成本端是 ρ。η=η∗ 时带缩成一点 m(η∗)=ρ(η∗)=ρ∗;离开 η∗,带变宽。(注意:m,ρ 是速率,不是曲率端点;23.3 的调和平均只用于 1/λmax,1/λmin,不要对这里的 m,ρ 取平均。)

模型的步长没有直接写在输出里。实验设计希望它是一个不随任务调整的步长;把它记作公共的 η,看数据是否支持这个假设。两个任务的谱端点是:C3 的 λmin=4.1737、λmax=35.8959,C4 的 λmin=3.1746、λmax=6.6667。

要求两次实验的每一条轨道都落在自己的带里。最紧的两条约束是:C4 的最低速率要求 η≥(1−0.711)/6.6667≈0.0434;C3 的最低速率要求 η≤(1+0.610)/35.8959≈0.0449(C4 的 η 还在 1/λmax 左侧,C3 已经越过)。交集给出

0.0434≤η≤0.0448

(上端保守地向下取)。取 η=0.044,把两条谱代进上面的定义,得到下表:

实验m(η)ρ(η)带宽三条轨道 ρemp
C30.580.820.240.610 / 0.653 / 0.753
C40.710.860.150.711 / 0.754 / 0.753

C3 的三条轨道全部落在自己的 [0.58,0.82] 里;C4 的三条轨道全部落在自己的 [0.71,0.86] 里。不是一个大区间包住六条轨道,而是两个带同时存在,每个实验各自成功。C3 的带更宽、位置更低,C4 的带更窄、位置更高;两条带在 [0.71,0.82] 附近重叠,但它们是两个居民,不是一个。六条轨道各回各的带。

这也把“经济学”说清楚了:带宽不是误差棒,而是同一个步长下不同模式留下的不同保留比例。m 是乐观端,ρ 是成本端;决定步数的是 ρ,带宽告诉你这个步长的表现有多依赖哪个模式占主导。C3 的带宽是 0.24,C4 是 0.15:C3 的谱跨度更大,模式分得更开。但带宽不是成本;成本看 ρ。在这个公共步长下,C4 的 ρ=0.86 比 C3 的 0.82 更高:两条带的成本端都落在 1−ηλmin 上,C4 的 λmin 更小,离自己的 ρ∗=0.355 也更远;所以 C4 的最坏情况反而更慢。带更宽不等于更贵;贵不贵看 ρ 那一端。

这也划出了实验能说什么。单看一个任务的速率,分不出步长;把两个任务放在同一个有效步长下,两条带同时包住各自的采样,才把步长限定在 0.0434–0.0448。C3 的读数低于自己的 ρ∗,C4 的读数高于自己的 ρ∗;在各自的带里都合法。要更细地钉住步长,需要更长、更细的窗口。

读成两个存在性命题。 一个任务在固定步长下,合法速率是一条带,不是一条线:m(η)≤ρ≤ρ(η)。现在有两个任务、两条带:C3 的 [0.58,0.82],C4 的 [0.71,0.86]。两个任务各自的三条轨道,分别落在自己的带里。这不是一个大区间包住所有采样,而是两个居民同时存在——每个实验都有自己的构造,而且都成功了。

把两个任务并排看:C3 的带更宽、位置更低,C4 的带更窄、位置更高;两条带在 [0.71,0.82] 重叠。C3 的采样 0.610–0.753 没有压到自己的下界(0.58),C4 的 0.711 几乎贴着自己的下界(0.71),另外两条在带内。一宽一窄、一松一紧,两次实验各自成功。

这是证明,不是精度。 把命题写成类型:存在一个公共步长 η,使每个任务的合法速率带都包住自己的轨道。构造部分由切空间谱和 η=0.044 给出:m(η) 和 ρ(η) 是算出来的,不是逐条拟合的;C3 得到 [0.58,0.82],C4 得到 [0.71,0.86]。检验部分是:六条轨道、每条十二步,共 72 个读出点确实落在各自的带里。因为 η 是从这些读数反推的,这一步是自洽性检验,不是独立预测;它证明的是“存在这样的公共步长和两条带”,不是“带是先验给出的”。两个类型都有居民,两个居民都住进了真实模型。方向要说清:不是采样点去见证最优,而是采样点证明自己住得进自己的带;两个带都不要求采样坐在 ρ∗ 上。居民是爸爸,采样是儿子;这次是两个爸爸、两个儿子,各回各家。

柯里–霍华德同构的同一点。 存在命题的证明就是构造它的居民;现在有两个存在命题,所以有两个居民。实验不是给每个采样点发一张“最优”证书,而是看每个任务的读数是不是都住在自己的带里。这不是见证逻辑:采样不负责见证最优,只负责证明自己住得进去。C3 的三条住进 C3 的带,C4 的三条住进 C4 的带;两个构造都成立。反过来,如果所有样本都精确落在各自的 ρ∗ 上,那更像拟合,而不是测量。

这一步证到什么程度。 它是在这两组任务、六个起点、十二步窗口里的两个存在性证明。72 个读出点不是 72 次独立实验,而是六条轨道的时间点;它也不是对所有提示词、温度的普遍结论。换提示词、换温度、加任务,是把“这两组里存在”推进到“更广范围里存在”的下一步。最优轨道本身是可以写出来的:在 η∗ 处 m(η∗)=ρ(η∗)=ρ∗,它是数学上可构造的一条轨道;模型不必真的走它,真实轨道只需落在它许可的范围里。

每个居民两条线就够了。 这是存在性构造,不是统计估计。构造一个任务的居民只需要两个端点:m(η) 给下界,ρ(η) 给上界;在 η=0.044 处,两条线一画,带就有了。两个任务各画两条线,得到两个带;两条带各自包住自己的三条轨道,两个存在性命题就证完了。证完的是居民带的存在,不是样本的最优性;样本只是住进带里。更多任务、更多提示词、更多温度,不是构造的必要条件;它们问的是这个居民能覆盖多广,属于稳健性,不属于存在性。数学上,构造一个对象只需要一次有效构造;重复采样是工程上的加固,不是逻辑上的必需。

这是健康上下界,不是封神区间。 居民带不是逐点拟合出来的;给定公共步长,它由切空间谱直接算出来,不拟合每条轨道的速率。公共步长本身从数据反推,是唯一从数据来的量;它取成让两条带同时包住六条轨道。这是构造,不是无数据的预测。带给的是一条健康带宽,不是“落在里面就最优”的通行证。带内大多数位置只是合法、正常、能收敛;靠近 ρ∗ 的只有窄窄的一条线。落在带里,说明模型没有越出健康范围,并不说明它已经最优,更不保证什么爆炸性学习或推理。合法性的判据仍是步长在稳定窗口内、每步速率落在所在任务的 [m(η),ρ(η)] 内;区间外的读数不一定非法,可能只是更慢的合法步长。每个任务、每个满足这套几何的模型都有自己的合法带;模型在带里生活,不在带外。把带内任意一点当成“最优”,那才是抄近道——这里没有这条近道。

顶级模型也在区间里。 这不是“DeepSeek 恰好合格”,而是构造在起作用:只要模型在单纯形上做小步贝叶斯更新,它的合法速率就落在所在任务的 [m(η),ρ(η)] 内。这次 DeepSeek 的六条轨道分别落在两条带里:C3 的 0.610–0.753 在 [0.58,0.82],C4 的 0.711–0.754 在 [0.71,0.86]。两个居民都被真实的大模型住进去了。这个顶级模型的实测行为在健康带里,不是站在最优线上。是不是所有顶级模型都如此,需要更多模型来测;构造本身不挑模型。

这正是实验的价值:它验证了几何和不动点,量出了模型离最优步长有多远,也验证了两个居民都不是空的。

  • 验证了几何。 六条轨道都在切空间里收缩,半对数大体接近直线,不动点是证据一致的后验,尾径下降。
  • 验证了不动点。 C3 和 C4 的轨道分别落到各自的后验;起点不同,落点相同。
  • 验证了两个居民。 C3 和 C4 各自有一条带,六条轨道全部落在自己的带内;不是一个大区间勉强包住所有点,而是两个带各自成立。
  • 量出了步长。 两次实验把公共有效步长限定在 0.0434–0.0448。模型走的是自己的合法步长,不在最优点。ρ∗ 量的是理想算子;ρemp 量的是模型。

还有两个技术细节。第一,六条轨道上 dH 与 dE 的速率差最大约 0.03;两种范数给出同样的收缩图像。第二,12 步里有的轨道还没走到 ε=0.01 以下;把窗口拉长,是下一个实验。

一句话: 两个居民同时存在;C3 的采样住在 C3 的 [m,ρ] 里,C4 的采样住在 C4 的 [m,ρ] 里。ρ∗ 是各自的最优线,ρemp 是模型的实际速率。

代码:把审计留在正文里 ​

工业级验证和玩具实验的区别,不在于代码更长,而在于别人能不能沿着代码重走一遍。下面两段代码,一段采数,一段分析;注释用英文,只写坐标系、边界和选择理由。

除标准库外,两段代码只依赖 httpx 和 numpy;key 从环境变量读,正文不出现。

采数代码:

python
import json
import os
import re
import time
from pathlib import Path

import httpx

BOX = re.compile(r"boxed\s*\{([^{}]*)\}", re.I | re.S)
NUM = re.compile(r"-?\d+(?:\.\d+)?")

QUESTION = """Question: A bag contains 7 red balls, 2 blue balls, and 1 black ball.
The balls are otherwise identical. A detector examines a ball drawn at random
and reports its color. The detector is correct with probability 0.70; when it
is wrong, it reports each of the other two colors with equal probability.
The detector reports "Blue" on the first draw and "Blue" on the second draw
(after replacing the ball). Which color is the drawn ball most likely?"""


def ask_once(client, url, key, belief, decimals=2):
    """One API call. Return the reported belief as a probability vector.

    The model sees the current belief and is asked for one small adjustment;
    the boxed triple is the next point of the reported orbit.
    """
    user = (
        QUESTION
        + "\n\nCurrent belief: "
        + f"(red={belief[0]:.4f}, blue={belief[1]:.4f}, "
          f"black={belief[2]:.4f}).\n"
        + "Reconsider the question from the statement and make one small "
          "adjustment to your belief in the direction the evidence points. "
          "Do not re-solve the problem from scratch.\n"
        + f"At the very end, box the updated belief with {decimals} decimals "
          "in the order Red, Blue, Black, summing to 1."
    )
    body = {
        "model": "deepseek-flash",
        "messages": [{"role": "user", "content": user}],
        "thinking": {"type": "disabled"},
        "reasoning_effort": "none",
        "temperature": 0.0,       # greedy decoding; no sampling temperature
        "max_tokens": 2048,
    }
    r = client.post(url, json=body,
                    headers={"Authorization": f"Bearer {key}"}, timeout=120)
    r.raise_for_status()
    text = r.json()["choices"][0]["message"]["content"]
    for box in reversed(BOX.findall(text)):
        nums = [float(x) for x in NUM.findall(box)]
        if len(nums) == 3 and sum(nums) > 0:
            s = sum(nums)
            return tuple(x / s for x in nums)   # tolerate tiny rounding drift
    return None


def run_orbit(client, url, key, start, steps=12):
    """Iterate the reported-belief map and return the orbit."""
    path = [tuple(start)]
    for _ in range(steps):
        q = ask_once(client, url, key, path[-1])
        if q is None:
            break
        path.append(q)
        time.sleep(0.2)       # keep the request rate modest
    return path


STARTS = {
    "black_skew": (0.10, 0.20, 0.70),
    "uniform": (1 / 3, 1 / 3, 1 / 3),
    "red_skew": (0.70, 0.20, 0.10),
}
A_STAR = (0.1358, 0.8448, 0.0194)   # C3 posterior; swap in C4's for task c4


def save_orbit(task, A_star, orbits):
    """Write one experiment file next to this script."""
    path = Path(".") / f"ch23_orbit_{task}.json"
    path.write_text(json.dumps({"task": task, "A_star": A_star,
                                "orbits": orbits}, indent=1),
                    encoding="utf-8")
    return path


key = os.environ["DEEPSEEK_API_KEY"]   # read from the environment; never print it

url = "https://api.deepseek.com/chat/completions"
with httpx.Client() as client:
    orbits = {name: run_orbit(client, url, key, start)
              for name, start in STARTS.items()}
print(save_orbit("c3", A_STAR, orbits))

把三个起点各跑一遍,轨道写进 ch23_orbit_c3.json;分析代码从同级目录把它读回来。C4 只需把 QUESTION 换成一次 Blue 报告的题面,轨道写进 ch23_orbit_c4.json。

分析代码:

python
import json
import math
from pathlib import Path

import numpy as np

HERE = Path(".")
U = np.array([1 / 3, 1 / 3, 1 / 3])
E = np.array([[1, 0, -1], [1, -2, 1]], float)
E /= np.linalg.norm(E, axis=1, keepdims=True)


def load_orbit(task):
    """Read the JSON written by the collector from this directory."""
    path = HERE / f"ch23_orbit_{task}.json"
    with open(path, encoding="utf-8") as f:
        return json.load(f)


def tangent(p):
    """Coordinates of p - U in the orthonormal basis of T."""
    return E @ (np.asarray(p, float) - U)


def spectrum(A):
    """2x2 matrix of P_T diag(1/A) P_T in the tangent basis."""
    m = 1.0 / np.asarray(A, float)
    h11 = 0.5 * (m[0] + m[2])
    h22 = (m[0] + 4 * m[1] + m[2]) / 6
    h12 = (m[0] - m[2]) / math.sqrt(12)
    return np.array([[h11, h12], [h12, h22]])


def rho_star(A):
    """Optimal contraction rate from the two tangent eigenvalues."""
    lam = np.linalg.eigvalsh(spectrum(A))
    kappa = lam.max() / lam.min()
    return kappa, (kappa - 1) / (kappa + 1)


def distances(P, A):
    """Euclidean distance in T; equals ||p - A||_2 because p - A is in T."""
    X = np.array([tangent(p) for p in P])
    return np.linalg.norm(X - tangent(A), axis=1)


def fit_rate(d, floor=1e-2, dmax=0.5):
    """Fit log10 d = a + b t near the anchor; return rho = 10**b."""
    t = np.arange(len(d))
    m = (t >= 1) & (d > floor) & (d < dmax)
    if m.sum() < 2:
        return float("nan")
    b, _ = np.polyfit(t[m], np.log10(d[m]), 1)
    return 10 ** b


for task in ("c3", "c4"):
    data = load_orbit(task)
    A = np.array(data["A_star"], float)
    kappa, rho = rho_star(A)
    print(f"{task}: kappa_T={kappa:.3f}  rho*={rho:.3f}")
    # common effective step inferred from the two bands (see text)
    vals = np.abs(1 - 0.044 * np.linalg.eigvalsh(spectrum(A)))
    print(f"  band at eta=0.044: m={vals.min():.2f}  rho={vals.max():.2f}")
    for name, P in data["orbits"].items():
        d = distances(np.array(P, float), A)
        print(f"  {name:10s} rho_E={fit_rate(d):.3f}")

这段代码对每条轨道单独拟合,正文表里的三个数就是它逐行打印的 rho_E;band at eta=0.044 那一行打印每个任务的 [m,ρ];表中的 m、ρ 由它给出,带宽是两者之差。输入是 ch23_orbit_c3.json 和 ch23_orbit_c4.json,由采数代码写在同级目录;同样的近锚点窗口和拟合方式,也用于图 23.4 的面板 (b) 和 (c)。

一句话: 代码不是附录里的装饰;它是让结论可以被审计的那一部分。

这个实验管什么 ​

这条轨道是模型报告的信念,不是内部激活。报告是接口能给出的全部,也是读者能重跑的部分。

它只对“小幅调整”这个映射成立。同一道题,“立即回答”和“小幅调整”给出不同的不动点;换提示就是换映射。第12章的定理对固定映射说;这里把证据写进题面,锚点随之变成证据一致的后验。

它是 12 步、两位小数的窗口,一个模型、两个任务。这是这次实验的全部数据:窗口里的经验速率、尾径和不动点。把这里的数值当成普适常数,是误读;把同一套方法搬到别的模型和任务上,是下一步。

一句话: 窗口有限,结论明确:在这个窗口里,轨道是柯西列,几何成立。


23.7 结语:智能涌现与平凡方程 ​

回到开头:三个答案,初始误差 0.648,三步到 0.1,每步大约乘 0.45。

这个数就是

ρ∗=κT−1κT+1,κT=λmaxλmin,κT=1+ρ∗1−ρ∗.

它和它背后的 HT 一起,精确地决定五件事:

  1. 斜率。 半对数误差曲线的斜率是 ln⁡ρ∗。
  2. 步数。 到达 ε 的步数精确地夹在 κT−12ln⁡1ε 与 κT2ln⁡1ε 之间。
  3. 稳定性。 稳定窗口是 0<η<2/λmax,最优步长是 η∗=2/(λmin+λmax)。
  4. 经验读数。 真实模型的报告信念在切空间里是柯西列;半对数大体接近直线,双对数弯曲;不动点是证据一致的后验;实测 ρemp 在三条轨道上为 C3 0.610–0.753、C4 0.711–0.754。这是模型在“一小步调整”下走出的速率。几何在真实轨道上成立,步长由模型自己决定。
  5. 涌现的判据。 ρ∗ 不变而指标跳变,是读数;ρ∗ 跳变,才是动力学。

整条链只有三步:

一个数,由两个端点决定;两个端点,由切空间 Hessian 决定;切空间 Hessian,由锚点和单纯形约束决定。

第12章说:推理会收敛到先验锚点 A,而不是真实答案 A∗。本章补上了“多快”:

多快,由一个条件数决定;条件数由切空间 Hessian 的两个端点决定;两个端点由矩阵决定。除此之外,没有第二个标量。

现在可以说清楚 scaling law 里哪一部分是平凡的,哪一部分不是。平凡的是它的格式:只要输出落在单纯形上、损失用 KL 记、样本是数出来的,L(s)−L∞ 在双对数纸上就会是一条直线。格式来自几何,数值来自工程。不是平凡的是它为什么一直往下走:真实系统的地板会随着参数、数据、算力一起下降;指数是多少、能降多久,这是经验科学要回答的问题,需要实验,也需要时间。把这两件事分开:格式归几何,指数归实验。

本章没有复现某一家公司的曲线,也没有用一个玩具去冒充它。本章量的是那条曲线背后的同一条几何:一个把输出放在单纯形上的系统,收敛会按 ρt 走;真实模型的报告信念也确实如此。工程决定数值,几何决定必然。 这句话对任何一个把输出放在单纯形上的系统成立,对一个真实模型的信念轨道也成立——这正是它被称为“普世”的意思。

智能与涌现之所以看起来像奇迹,往往是因为我们只盯着某一个读数;把读数放回曲线上,它们就只是同一条平凡方程在不同尺度上的名字。

一句话: 曲线不专属于某一家公司,速率也不专属于某一个模型;它们属于所有在单纯形上收缩的轨道。


悬而未决 ​

离开锚点邻域之后,速率怎么估? 本章的 ρ∗ 是 A 附近线性化的精确速率。真实轨道在进入这个小邻域之前会有高阶项;开头的表里第一步的比值明显小于 ρ∗,就是这种“提前量”的影子。能不能只用切空间谱,给出一个有限步的、非渐近的误差界?如果初始误差的大分量恰好落在快方向上,实际窗口会比 ρ∗ 预测的更短——这个差值能不能精确算出来?这是开放的。

能不能在大规模模型上直接测 λmin 和 λmax? 本章的谱是在 K=3 到 2048 的显式分布上算的。真实 LLM 的词表很大,Hessian 无法显式存储。随机迹估计、Lanczos、隐式微分能不能给出可靠的端点估计?这会把“斜率是否随规模改变”的诊断从理论变成实验。

ρ∗ 什么时候随规模改变? 本章给出了判据,但没有给出 ρ∗(N) 的模型。如果慢模式的出现有临界规模,那个临界点由什么决定?这是速率曲线真正需要回答的问题。

12 步和两位小数够不够? 23.6 的柯西证书只覆盖一个有限窗口;两位小数的读出下限约在 10−2。更长的轨道、更高精度的读出,能不能把 ρemp 估得更稳?它与 ρ∗ 的差距,来自模型的步长不在 η∗、读出精度,还是模型映射本身不是投影梯度?这是实验问题,不是代数问题。

为什么换一个接口,不动点就变了? 23.6 的“小幅调整”收敛到证据一致的后验;早先的“立即回答”却收敛到先验主导的点。哪个映射才是模型真实的推理动力学?这需要把接口、提示和读出方式都当成变量,而不是把某一次读出当成模型的全部。


思考题 ​

★ 热身

  1. 用开头的表验证:误差比值从哪一步开始稳定在 ρ∗ 附近?为什么第一步的比值明显更小?
  2. 对 K=3、q=(1/3,1/3,1/3),验证 HT=3PT,写出它的全部特征值,并算出 ρ∗。
  3. 对 q=(0.70,0.20,0.10),用久期方程算出 λmin,λmax,κT,再算 η∗,ρ∗ 与 N(0.1)。
  4. 用 23.6 的表,分别看 C3 三条轨道的 ρemp 与 ρ∗ 差多少;再用 C4 做同样的计算,比较两个任务的差值范围。

★★ 推导

  1. 证明引理 23.1:凸函数 g(λ)=|1−ηλ| 在区间上的最大值在端点取得。
  2. 证明 tr(HT)=(1−1/K)∑i1/qi。
  3. 证明定理 23.2:η∗=2/(λmin+λmax) 是唯一最小值点,ρ∗=(κT−1)/(κT+1),且两个端点分支在最优点的值相等。
  4. 证明定理 23.3 的两个界:2x2+x≤ln⁡(1+x)≤x。
  5. 证明:对任意两个概率向量 p,q,p−q∈T,且 ∥x(p)−x(q)∥2=∥p−q∥2。再证明 T 上的欧氏范数与 Bregman 切范数 ∥⋅∥HT 等价,并给出等价常数。
  6. 证明:若 F:T→T 满足 ∥F(x)−F(y)∥2≤ρ∥x−y∥2 且 ρ<1,则任意轨道都是柯西列,极限唯一,且 ∥xt−x∗∥2≤ρt∥x0−x∗∥2。

★★★ 挑战

  1. 对 K=3,把久期方程写成 3s3λ2−2s2λ+1=0,并验证它与第12章的二次方程一致。
  2. 设计一个实验,只通过测量 ρ∗ 随规模的变化,区分“读出效应”和“谱分岔”。说明每种情况下你会看到什么,以及如何排除混淆变量。
  3. 尝试构造一个反例,说明离开锚点邻域、二阶项不可忽略时,欧氏线性化速率 ρ∗ 不再是精确速率;再说明需要加什么条件才能恢复一个精确的速率公式。
  4. 把 23.6 的 12 步延长到 30 步,或把输出精度提高到 6 位小数,重新估计 ρemp。如果 ρemp 稳定但远离 ρ∗,说明模型的步长不是 η∗;如果它随窗口明显漂移,说明有限窗口还不够。设计一个能区分这两种解释的对照实验。

参考文献

  • Banach, Stefan (1922). “Sur les opérations dans les ensembles abstraits et leur application aux équations intégrales.” Fundamenta Mathematicae 3(1), 133–181. DOI: 10.4064/fm-3-1-133-181.——压缩映射原理的原始文献
  • Schaeffer, Rylan; Miranda, Brando; and Koyejo, Sanmi (2023). “Are Emergent Abilities of Large Language Models a Mirage?” arXiv:2304.15004.——涌现的度量伪影
  • Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; and Fedus, William (2022). “Emergent Abilities of Large Language Models.” arXiv:2206.07682.——涌现现象的系统描述
  • Nesterov, Yurii (2018). Lectures on Convex Optimization, 2nd edition. Springer Optimization and Its Applications 137. Springer. DOI: 10.1007/978-3-319-91578-4.——强凸、光滑、步长与条件数
  • Boyd, Stephen; and Vandenberghe, Lieven (2004). Convex Optimization. Cambridge University Press. DOI: 10.1017/CBO9780511804441.——投影的非扩张性与收敛率
  • Cover, Thomas M.; and Thomas, Joy A. (2006). Elements of Information Theory, 2nd edition. Wiley.——KL 的局部二次展开与经验分布的协方差
  • 本书第12章,永霖公式——永霖定理的全局版本、切空间谱界与直接证据