V3 旧非导航任务回归
当前模型仍是有限任务原型,不能视作 JeV 的通用替代。V3 gold 主模型在旧 test 上改善,但旧 OOD 的部分任务退步;较低的教师分布误差也不等于较高的独立 gold 质量。
本报告评估两个冻结 V3 主模型在 V2 原 test/ood 中的 440 个自写合成状态、1320 题,排除所有 grid_navigation。问题ID、候选顺序、gold 和教师参考与 V2 保存结果逐项一致。它是旧 held-out 回归诊断,不是新的泛化证据,也未用于训练、模型选择或调参。V2 对照直接使用此前保存预测。
| 数据 | 模型 | 题数 | gold KL ↓ | gold TV ↓ | teacher KL ↓ |
|---|---|---|---|---|---|
| test | V2 teacher17(共同初始模型) | 864 | 0.315480 | 0.220292 | 0.056820 |
| test | V3 gold coords/multi(预定主展示) | 864 | 0.246701 | 0.151547 | 0.263778 |
| test | V3 teacher coords/multi | 864 | 0.382994 | 0.224973 | 0.048613 |
| ood | V2 teacher17(共同初始模型) | 456 | 0.364422 | 0.238399 | 0.142179 |
| ood | V3 gold coords/multi(预定主展示) | 456 | 0.416760 | 0.191226 | 0.444958 |
| ood | V3 teacher coords/multi | 456 | 0.450015 | 0.246808 | 0.119918 |
KL 的方向是 KL(target || student),TV 为半个 L1 距离,均按问题等权平均。teacher 指对合法的、经舍入的教师分布代理的保真度;gold 来自独立程序目标。最优动作策略分布并非事件发生概率,兼容 argmax 也不是观测标签。
以下逐领域比较预定主模型 V3 gold coords/multi 与共同初始模型 V2 teacher17;正 ΔKL 表示退步。
| 数据 | family | 题数 | V2 gold KL | V3 gold KL | ΔKL | V2 TV | V3 TV |
|---|---|---|---|---|---|---|---|
| test | catalog_lookup_v2 | 144 | 0.043719 | 0.000080 | -0.043639 | 0.041083 | 0.000080 |
| test | known_chance_v2 | 192 | 0.276577 | 0.014671 | -0.261907 | 0.250974 | 0.054693 |
| test | smart_home_v2 | 192 | 0.072517 | 0.038967 | -0.033550 | 0.056799 | 0.028087 |
| test | support_decisions_v1 | 96 | 0.032649 | 0.000073 | -0.032576 | 0.031650 | 0.000073 |
| test | tic_tac_toe_minimax_v1 | 240 | 0.817161 | 0.845134 | +0.027973 | 0.509521 | 0.479268 |
| ood | access_evidence_ood_v1 | 48 | 0.475038 | 0.794405 | +0.319367 | 0.309460 | 0.208945 |
| ood | catalog_lookup_v2 | 96 | 0.040722 | 0.000072 | -0.040650 | 0.038454 | 0.000072 |
| ood | known_chance_v2 | 96 | 0.273737 | 0.011822 | -0.261915 | 0.246142 | 0.049286 |
| ood | smart_home_v2 | 96 | 0.141990 | 0.252532 | +0.110541 | 0.078534 | 0.041674 |
| ood | tic_tac_toe_minimax_v1 | 120 | 0.829627 | 1.054385 | +0.224758 | 0.491630 | 0.570257 |
主模型的已知随机分布任务明显改善,但 OOD 井字棋、权限证据和智能家居的 gold KL 上升。权限证据与智能家居的 TV 同时下降,说明只看平均绝对概率误差会遗漏对数损失的恶化。teacher 主模型更贴近教师,但已知随机分布任务的 test/ood gold KL 从 0.276577/0.273737 升至 0.659861/0.733282。回放训练数据不保证所有目标与领域均保留原能力。
两个新诊断都使用冻结权重、BF16、T=1;无温度拟合、无训练、无 API 调用,各耗时约20秒。五个 V3 模型都从 V2 teacher17 权重初始化,gold 只描述 V3 阶段的目标。V3 仅有一个固定训练 seed,不足以估计训练方差。
公开 JSON 含完整按 family、题型、目标种类聚合的 CE/KL/TV、权重与来源 SHA256,不含原始教师标签或逐题预测。详见 回归聚合 和 训练清单。
快照未包含部分工程附件或配图;请通过上游链接或原始材料查看,收录范围见来源清单。