JJev Cookbook
课程首页 中文文档 拓展阅读 GitHub ↗

拓展阅读 / NanoJev:小型决策模型

知识库收录材料 · 原始文件 ↗ · 来源、版本与许可

V3 旧非导航任务回归

当前模型仍是有限任务原型,不能视作 JeV 的通用替代。V3 gold 主模型在旧 test 上改善,但旧 OOD 的部分任务退步;较低的教师分布误差也不等于较高的独立 gold 质量。

本报告评估两个冻结 V3 主模型在 V2 原 test/ood 中的 440 个自写合成状态、1320 题,排除所有 grid_navigation。问题ID、候选顺序、gold 和教师参考与 V2 保存结果逐项一致。它是旧 held-out 回归诊断,不是新的泛化证据,也未用于训练、模型选择或调参。V2 对照直接使用此前保存预测。

数据模型题数gold KL ↓gold TV ↓teacher KL ↓
testV2 teacher17(共同初始模型)8640.3154800.2202920.056820
testV3 gold coords/multi(预定主展示)8640.2467010.1515470.263778
testV3 teacher coords/multi8640.3829940.2249730.048613
oodV2 teacher17(共同初始模型)4560.3644220.2383990.142179
oodV3 gold coords/multi(预定主展示)4560.4167600.1912260.444958
oodV3 teacher coords/multi4560.4500150.2468080.119918

KL 的方向是 KL(target || student),TV 为半个 L1 距离,均按问题等权平均。teacher 指对合法的、经舍入的教师分布代理的保真度;gold 来自独立程序目标。最优动作策略分布并非事件发生概率,兼容 argmax 也不是观测标签。

以下逐领域比较预定主模型 V3 gold coords/multi 与共同初始模型 V2 teacher17;正 ΔKL 表示退步。

数据family题数V2 gold KLV3 gold KLΔKLV2 TVV3 TV
testcatalog_lookup_v21440.0437190.000080-0.0436390.0410830.000080
testknown_chance_v21920.2765770.014671-0.2619070.2509740.054693
testsmart_home_v21920.0725170.038967-0.0335500.0567990.028087
testsupport_decisions_v1960.0326490.000073-0.0325760.0316500.000073
testtic_tac_toe_minimax_v12400.8171610.845134+0.0279730.5095210.479268
oodaccess_evidence_ood_v1480.4750380.794405+0.3193670.3094600.208945
oodcatalog_lookup_v2960.0407220.000072-0.0406500.0384540.000072
oodknown_chance_v2960.2737370.011822-0.2619150.2461420.049286
oodsmart_home_v2960.1419900.252532+0.1105410.0785340.041674
oodtic_tac_toe_minimax_v11200.8296271.054385+0.2247580.4916300.570257

主模型的已知随机分布任务明显改善,但 OOD 井字棋、权限证据和智能家居的 gold KL 上升。权限证据与智能家居的 TV 同时下降,说明只看平均绝对概率误差会遗漏对数损失的恶化。teacher 主模型更贴近教师,但已知随机分布任务的 test/ood gold KL 从 0.276577/0.273737 升至 0.659861/0.733282。回放训练数据不保证所有目标与领域均保留原能力。

两个新诊断都使用冻结权重、BF16、T=1;无温度拟合、无训练、无 API 调用,各耗时约20秒。五个 V3 模型都从 V2 teacher17 权重初始化,gold 只描述 V3 阶段的目标。V3 仅有一个固定训练 seed,不足以估计训练方差。

公开 JSON 含完整按 family、题型、目标种类聚合的 CE/KL/TV、权重与来源 SHA256,不含原始教师标签或逐题预测。详见 回归聚合 和 训练清单。

快照未包含部分工程附件或配图;请通过上游链接或原始材料查看,收录范围见来源清单。