JJev Cookbook
课程首页 中文文档 拓展阅读 GitHub ↗

拓展阅读 / NanoJev:小型决策模型

知识库收录材料 · 原始文件 ↗ · 来源、版本与许可

Navigation V3 固定实验报告

生成时间:2026-09-17T15:25:00.803913+00:00。

结果齐全,已完成独立核验。

预定主模型 greedy 的 test/OOD 完成率为 90%/55%,T=1 采样为 90%/75%;对应采样路径效率为 0.8356/0.6213。

主模型采样相对均匀随机的 OOD 完成率差为 0.0500 [-0.2000, 0.2500],路径效率差为 0.5085 [0.3129, 0.6859]。本次结果支持路径效率改善,尚不足以确认陌生地图通关率稳定提高。

四组 gold 对照中,显式坐标对 greedy 完成率的平均影响为 test 0.5500 [0.3250, 0.7500]、OOD 0.3000 [0.1000, 0.4750]。多起点覆盖没有表现为普遍收益,完整主效应与交互见下表。

次要教师分布监督模型在采样下完成 test 95%、OOD 90%;OOD 路径效率为 0.5442。其完成率点值高于主 gold 模型,效率点值较低;当前配对区间不足以判定教师目标总体优于 gold 目标。

主展示预先固定为 v3_gold_coords_multi_seed17。四个 gold 模型组成输入表示(ASCII/坐标)×训练起点覆盖(single/multi)的 2×2 对照;同表示的教师分布监督是次要对照。未依据 test 或 OOD 改默认模型、温度、控制器或训练设置。

四个 gold 模型都使用 300 张训练地图×8 个 D4 呈现槽,共 2400 条导航训练曝光,加 984 条相同非导航 replay;单起点为每原始地图 1 个起点,多起点共 1874 个原始起点。每组都从同一 V2 teacher seed 17 权重恢复,用新优化器训练 1200 步、head warmup 0 步。single 的 8 次 D4 呈现不代表 8 个不同原始起点。

只有 1 个训练 seed,不能估计训练随机性的方差。95% 区间按完整源地图进行 500 次配对 bootstrap,反映固定 checkpoint、固定采样种子下的地图采样不确定性;不覆盖训练 seed 或控制器 RNG 的变化。区间未作多重比较校正。

固定闭环协议与覆盖

test 与 OOD 各取冻结文件顺序中前 20 张不同的可达、非终局地图,所有策略使用相同初始状态;共有 40 张地图,与训练源地图重叠 0。每局最多 2×size² 步,保留所有成功和失败。单合法动作直接执行并另计,不调用模型;其余活跃状态每个 tick 一次批量 forward。

greedy 取原始概率最大动作;sample 从完整原始 T=1 分布采样。各 episode 使用 stable-hash 派生的独立 RNG,强制步不消耗随机数。不添加访问惩罚、epsilon、温度调优、循环提前终止或 oracle 兜底。原始概率、随机数和实际动作全部保存并独立重放核验。

路径效率为成功时最短距离/实际步数,失败为 0。重复访问率为已访问目的格所占步数,初始格也计为已访问。p(optimal) 和实际最优动作率只统计非强制决策,按决策步数加权。它们与最终通关率分别报告;p(optimal) 是策略在 BFS 最优动作集合上的质量,不能视为通关概率。

闭环 p(optimal) 还受到各控制器实际访问状态的影响;不同控制器之间的差值不是在同一固定状态集合上的能力差。下方离线指标则使用相同冻结状态。

V3 与 V2 使用不同地图集合、表示和训练安排,本报告不将两版数字直接作胜负比较。

模型/控制器分区完成率路径效率平均步数重复访问率p(optimal)实际最优率强制步
randomtest0.70000.139917.65000.66570.51550.504626
randomood0.70000.112743.80000.73860.48530.500054
oracletest1.00001.00002.30000.00001.00001.00000
oracleood1.00001.00004.25000.00001.00001.00000
v3_gold_ascii_single_seed17/greedytest0.50000.500017.05000.86800.53710.378374
v3_gold_ascii_single_seed17/greedyood0.30000.300051.25000.93460.62940.4021177
v3_gold_ascii_single_seed17/sampletest0.75000.295615.40000.70780.52580.496430
v3_gold_ascii_single_seed17/sampleood0.70000.372932.05000.74410.51460.500045
v3_gold_ascii_multi_seed17/greedytest0.20000.200025.90000.93820.50630.455546
v3_gold_ascii_multi_seed17/greedyood0.05000.050068.50000.96860.52460.482036
v3_gold_ascii_multi_seed17/sampletest0.70000.139917.65000.66570.51550.504626
v3_gold_ascii_multi_seed17/sampleood0.70000.112743.80000.73860.48510.500054
v3_gold_coords_single_seed17/greedytest0.90000.90005.00000.60000.69370.70000
v3_gold_coords_single_seed17/greedyood0.40000.400044.15000.95130.51360.494736
v3_gold_coords_single_seed17/sampletest1.00000.93863.40000.25000.83300.83820
v3_gold_coords_single_seed17/sampleood0.70000.560727.35000.82820.50420.513737
v3_gold_coords_multi_seed17/greedytest0.90000.90005.10000.57840.74890.616316
v3_gold_coords_multi_seed17/greedyood0.55000.550033.90000.92770.49370.498436
v3_gold_coords_multi_seed17/sampletest0.90000.83565.90000.55930.69870.64044
v3_gold_coords_multi_seed17/sampleood0.75000.621325.10000.79880.53800.522433
v3_teacher_coords_multi_seed17/greedytest0.90000.90005.00000.61000.70510.68000
v3_teacher_coords_multi_seed17/greedyood0.50000.500037.55000.93610.48570.4425107
v3_teacher_coords_multi_seed17/sampletest0.95000.82504.75000.45260.79970.70334
v3_teacher_coords_multi_seed17/sampleood0.90000.544222.65000.75500.54160.551929

预定主模型与配对差值

以下为点估计及 95% bootstrap 区间。差值严格按表中方向;完成率、效率越高越好,重复访问率越低越好。JSON 包含全部固定 2×2 主效应、交互、次要教师对照和各模型 sample−greedy 的配对区间。

预定比较分区完成率/差值 [CI]路径效率/差值 [CI]重复访问率/差值 [CI]
v3_gold_coords_multi_seed17/greedytest0.9000 [0.7500, 1.0000]0.9000 [0.7500, 1.0000]0.5784 [0.0000, 0.7684]
v3_gold_coords_multi_seed17/greedyood0.5500 [0.3238, 0.7500]0.5500 [0.3238, 0.7500]0.9277 [0.8655, 0.9541]
v3_gold_coords_multi_seed17/sampletest0.9000 [0.7500, 1.0000]0.8356 [0.6688, 0.9800]0.5593 [0.0235, 0.7008]
v3_gold_coords_multi_seed17/sampleood0.7500 [0.5500, 0.9262]0.6213 [0.4229, 0.8008]0.7988 [0.6876, 0.8452]
greedy/primary_minus_randomtest0.2000 [0.0500, 0.4000]0.7601 [0.6278, 0.8682]-0.0873 [-0.6686, 0.0951]
greedy/primary_minus_randomood-0.1500 [-0.4000, 0.0500]0.4373 [0.2174, 0.6320]0.1891 [0.1210, 0.2441]
sample/primary_minus_randomtest0.2000 [0.0500, 0.4000]0.6957 [0.5437, 0.8230]-0.1064 [-0.5862, 0.0046]
sample/primary_minus_randomood0.0500 [-0.2000, 0.2500]0.5085 [0.3129, 0.6859]0.0602 [-0.0531, 0.1230]
greedy/mean_coordinates_effecttest0.5500 [0.3250, 0.7500]0.5500 [0.3250, 0.7500]-0.3139 [-0.8824, -0.1208]
greedy/mean_coordinates_effectood0.3000 [0.1000, 0.4750]0.3000 [0.1000, 0.4750]-0.0121 [-0.0524, 0.0089]
greedy/mean_multi_effecttest-0.1500 [-0.2750, -0.0250]-0.1500 [-0.2750, -0.0250]0.0243 [-0.2713, 0.3237]
greedy/mean_multi_effectood-0.0500 [-0.1750, 0.0750]-0.0500 [-0.1750, 0.0750]0.0052 [-0.0186, 0.0207]
greedy/interactiontest0.3000 [0.0500, 0.5500]0.3000 [0.0500, 0.5500]-0.0918 [-0.6776, 0.5295]
greedy/interactionood0.4000 [0.2000, 0.6500]0.4000 [0.2000, 0.6500]-0.0576 [-0.1173, -0.0252]
sample/mean_coordinates_effecttest0.2250 [0.1000, 0.3750]0.6694 [0.5533, 0.7685]-0.2821 [-0.6167, -0.1661]
sample/mean_coordinates_effectood0.0250 [-0.1000, 0.1631]0.3481 [0.2004, 0.4823]0.0721 [0.0049, 0.1116]
sample/mean_multi_effecttest-0.0750 [-0.1750, 0.0250]-0.1294 [-0.2118, -0.0488]0.1336 [-0.0107, 0.2191]
sample/mean_multi_effectood0.0250 [-0.1000, 0.1500]-0.0998 [-0.2180, 0.0079]-0.0175 [-0.0805, 0.0636]
sample/interactiontest-0.0500 [-0.2762, 0.1500]0.0526 [-0.1337, 0.2285]0.3514 [0.0973, 0.5028]
sample/interactionood0.0500 [-0.3000, 0.3500]0.3208 [0.0615, 0.5929]-0.0238 [-0.1679, 0.1272]
greedy/secondary_teacher_minus_goldtest0.0000 [-0.1500, 0.1500]0.0000 [-0.1500, 0.1500]0.0316 [-0.5925, 0.6000]
greedy/secondary_teacher_minus_goldood-0.0500 [-0.2000, 0.1262]-0.0500 [-0.2000, 0.1262]0.0084 [-0.0306, 0.0472]
sample/secondary_teacher_minus_goldtest0.0500 [0.0000, 0.1500]-0.0106 [-0.1148, 0.0870]-0.1067 [-0.2897, 0.0753]
sample/secondary_teacher_minus_goldood0.1500 [-0.0500, 0.3500]-0.0770 [-0.2272, 0.0839]-0.0438 [-0.1793, 0.0712]

离线 gold 目标与教师拟合分别报告

完整离线 test 为 80 张地图×3 个起点×3 道题(720 题),OOD 为 40×3×3(360 题),包含不可达状态。它们的覆盖范围大于上面的可达闭环子集。动作 gold 是最优动作均匀策略;Boolean/Score gold 是可程序验证的确定真值。动作 CE/KL 只评价对参考策略的恢复,不能声称已经校准环境不确定性。

模型分区动作最优命中动作最优质量动作 gold CE动作 gold KLSolvable 准确率/BrierValue 准确率/Brier
v3_gold_ascii_single_seed17test0.65830.67460.80120.48180.7500/0.36580.3833/0.6469
v3_gold_ascii_single_seed17ood0.70830.68300.87820.48830.7500/0.36000.2333/0.7797
v3_gold_ascii_multi_seed17test0.59580.63160.85930.53990.7500/0.37500.3833/0.6791
v3_gold_ascii_multi_seed17ood0.63330.60840.99300.60300.7500/0.37600.2333/0.8274
v3_gold_coords_single_seed17test0.95420.93870.44190.12240.8833/0.20050.8542/0.2395
v3_gold_coords_single_seed17ood0.75830.74341.34460.95460.8167/0.32240.5917/0.7453
v3_gold_coords_multi_seed17test0.94580.89090.49790.17840.8042/0.27480.7708/0.3399
v3_gold_coords_multi_seed17ood0.80000.76990.91010.52010.8167/0.26380.6000/0.6494
v3_teacher_coords_multi_seed17test0.96670.92820.50600.18660.7500/0.32890.6542/0.4798
v3_teacher_coords_multi_seed17ood0.80000.76950.94800.55800.7500/0.35180.4917/0.6464

教师拟合使用冻结坐标输入上 Jev 返回的可用原样 rounded proxy;ASCII 学生与这一教师参考比较时,教师输入仍是坐标表示,不能称作 ASCII 输入上的 Jev 实测。非归一化和缺失教师输出仅在教师指标中剔除,学生 gold 指标仍覆盖全部题。CE/KL 使用自然对数和 1e-12 概率下限;JSON 报告受下限影响的目标质量。多类 Brier 未除以类别数。

分区/题型教师可用/总数隔离无效缺失
test/action238/24011
test/solvable239/24001
test/value238/24011
ood/action119/12010
ood/solvable120/12000
ood/value118/12020
模型分区/题型教师覆盖题数教师 TV教师 KL
v3_gold_ascii_single_seed17test/action2380.35500.4259
v3_gold_ascii_single_seed17test/solvable2390.13360.1643
v3_gold_ascii_single_seed17test/value2380.52661.2847
v3_gold_ascii_single_seed17ood/action1190.34670.4085
v3_gold_ascii_single_seed17ood/solvable1200.13120.1588
v3_gold_ascii_single_seed17ood/value1180.61072.2611
v3_gold_ascii_multi_seed17test/action2380.39720.4644
v3_gold_ascii_multi_seed17test/solvable2390.16780.1062
v3_gold_ascii_multi_seed17test/value2380.53591.1715
v3_gold_ascii_multi_seed17ood/action1190.40460.4799
v3_gold_ascii_multi_seed17ood/solvable1200.17560.1129
v3_gold_ascii_multi_seed17ood/value1180.62122.1418
v3_gold_coords_single_seed17test/action2380.14080.1858
v3_gold_coords_single_seed17test/solvable2390.27691.0034
v3_gold_coords_single_seed17test/value2380.44252.2398
v3_gold_coords_single_seed17ood/action1190.34530.8668
v3_gold_coords_single_seed17ood/solvable1200.29440.9721
v3_gold_coords_single_seed17ood/value1180.63483.7301
v3_gold_coords_multi_seed17test/action2380.16870.1574
v3_gold_coords_multi_seed17test/solvable2390.27660.5412
v3_gold_coords_multi_seed17test/value2380.42131.0553
v3_gold_coords_multi_seed17ood/action1190.30240.4217
v3_gold_coords_multi_seed17ood/solvable1200.27880.5195
v3_gold_coords_multi_seed17ood/value1180.56601.9061
v3_teacher_coords_multi_seed17test/action2380.07530.0398
v3_teacher_coords_multi_seed17test/solvable2390.04620.0145
v3_teacher_coords_multi_seed17test/value2380.11260.0685
v3_teacher_coords_multi_seed17ood/action1190.29720.4120
v3_teacher_coords_multi_seed17ood/solvable1200.03840.0127
v3_teacher_coords_multi_seed17ood/value1180.28150.3351

完整性与来源

固定 warm-start SHA-256:231b5178098477d9f82ae2cf38786d9ab8e0a80a019f009e55b772a66882cec4。主展示和运行配置来自训练前 launch manifest;每个结果的输入、配置、checkpoint、预测及轨迹哈希记录在 JSON。所有已加载闭环轨迹均由环境重新推进,并重放逐 episode 随机数;结果不依赖 JSON 内自报的成功率。

warm-start hash 核对的是冻结源权重和运行清单;训练器日志未另行记录加载瞬间的权重 hash。学生回放的 checkpoint hash 与训练完成后 best 权重清单逐项匹配,每步输入也按冻结 renderer 重建并核对 hash。

远端闭环使用删除 teacher/oracle 标签后的最小环境包;本地基准保留原始 canonical 文件来源。两套文件哈希分别记录,环境身份、顺序及初始状态逐项一致;不将这种序列化差异当作地图差异,也不隐藏来源变化。

离线训练结果齐全:5/5;闭环结果齐全:12/12(含两个基准)。

ASCII multi 学生在已访问状态的 1149 次采样决策中,每个候选概率与均匀分布的最大绝对差仅 0.00244141;40 局中 39 局的完整动作序列与同种子随机基准相同。学生原始概率、唯一不同轨迹与所有失败均保留。

旧非导航任务的回归测试见 独立回归报告。它复用 V2 测试题,不属于新的未见任务评测;其中记录的 OOD 退步与本报告的新导航收益同时保留。

第十一章知识库收录材料 · 来源、版本与许可 · 第三方内容版权归各自作者;观点与数字请对照原始来源核验。