JJev Cookbook
课程首页 中文文档 拓展阅读 GitHub ↗

拓展阅读 / NanoJev:小型决策模型

知识库收录材料 · 原始文件 ↗ · 来源、版本与许可

冻结学生模型的追加解析概率诊断

这是训练结束后新增的 OOD 诊断,不用于选择模型、checkpoint、温度或超参数,也不等于实际事件频率上的校准评测。 参考分布来自自写概率实验的明示规则;没有教师调用、训练、原生基线重跑或温度拟合。

完成 40/40 题。固定 instruct_teacher、GPU 7、BF16、T=1,每次前向保留一道题的全部候选。 实际最长候选路径 1699 token;max_length=4096,无输入或候选截断。 全流程耗时 57.17 秒。KL 方向为 reference→student;仅对 log 中的学生概率使用 1e-12 下限。

题族题数平均 TV平均 KL(nat)学生平均归一化熵
explicit_unique100.3430110.5922210.496688
explicit_weighted100.4988640.9672520.793725
two_support_half100.4010130.7693720.811918
unrevealed_uniform100.1653880.0918260.953807
候选数 K题数平均 TV平均 KL(nat)
280.0823940.030110
580.1477510.152576
2080.3314390.397689
6480.5141200.825977
25580.6846411.619488

原序/倒序候选按语义 ID 还原后,共 20 对;最大单候选概率差 4.45917249e-06。 小顺序差只说明置换稳定性,不能抵消参考分布误差,也不能证明模型学到了条件概率语义。

此训练集只有少量客服规则题;大候选数和解析随机实验是额外分布外输入。本结果仅描述冻结模型在这 40 个预定自写题上的行为。

本题组的 K 与 state 长度一起增大,最长路径达到 1,699 token,明显长于原 toy 输入。因此按 K 分组的退化不能解释为 K 的独立因果效应;新任务族、不透明候选 ID 和输入长度也同时发生变化。均匀分布题上的较小 TV 也不能推出学生总体比教师更校准。

候选数与 state 长度在本探针中共同增长,最长路径1699 tokens;新规则族、符号化标签与更长上下文同时变化。因此上述分层差异不能解释为 K 的独立因果效应。均匀题上的较低 TV 也不能证明一般校准或任务理解更好。