Pipeline v2 冻结评估报告
生成时间：2026-09-17T14:43:06.109868+00:00。
状态：全部结果齐全。
预先固定主展示 seed=17；训练重复为 17、18、19。均值±样本标准差只在同一目标的三次训练全部完成后给出；未按 test/ood 选择 seed、checkpoint 或温度。
V2 闭环导航未达可用，需要继续研究。 两个学生在 test 和 ood 的导航成功率都低于固定随机策略。解析概率任务的改进不能代替实际环境中的控制能力，以下完整保留所有失败与冻结评估结果。
数据、教师覆盖与目标含义
冻结数据 SHA-256：7294765b80e751fc5aee7aba906b28a8ea80d6f147253d3f6c3e4f491de0b2d7。共有 2312 个状态、6936 道题。
| 分区 | 全部问题 | Jev 可用原样 rounded proxy | 隔离的无效分布 | 缺失教师 |
|---|---|---|---|---|
| all | 6936 | 6904 | 26 | 6 |
| train | 4152 | 4133 | 13 | 6 |
| dev | 552 | 548 | 4 | 0 |
| calibration | 552 | 550 | 2 | 0 |
| test | 1104 | 1100 | 4 | 0 |
| ood | 576 | 573 | 3 | 0 |
Jev 自身指标仅使用上述可用题目；不把缺失或非归一化输出强行归一化。学生主指标覆盖完整冻结 test/ood；为避免不同分母误读，JSON 另提供与 Jev 相同覆盖范围的三 seed 对照。
确定性判断的 accuracy/Brier/ECE、已知抽球分布的 TV/KL、游戏最优动作集合命中分别报告。游戏均匀最优动作目标是策略目标，不能解释成现实不确定性；抽球尚未观察实际结果，使用解析条件分布。Accuracy、概率质量、ECE、TV 使用比例而非百分数；多类 Brier 未除以类别数，范围为 0–2；KL 使用自然对数，单位为 nats。CE/KL 使用 1e-12 对数下限，JSON 披露受下限影响和预测零质量对应的目标质量，不能将有限显示值视为真实无限损失的精确值。
三次训练与 Jev 的独立结果
确定性问题
| 分区/模型 | 题数 | Accuracy | Brier | ECE |
|---|---|---|---|---|
| test/teacher | 752 | 0.7881 ± 0.0028 | 0.2446 ± 0.0057 | 0.0614 ± 0.0092 |
| test/gold_distribution | 752 | 0.8289 ± 0.0091 | 0.2277 ± 0.0033 | 0.0332 ± 0.0170 |
| test/Jev rounded proxy | 752 | 0.8138 | 0.2194 | 0.0381 |
| ood/teacher | 400 | 0.7733 ± 0.0072 | 0.2781 ± 0.0098 | 0.0499 ± 0.0106 |
| ood/gold_distribution | 400 | 0.7475 ± 0.0350 | 0.3223 ± 0.0239 | 0.1073 ± 0.0037 |
| ood/Jev rounded proxy | 399 | 0.8271 | 0.2121 | 0.0553 |
已知随机分布
| 分区/模型 | 题数 | TV | KL | 解析 top-label ECE |
|---|---|---|---|---|
| test/teacher | 192 | 0.3060 ± 0.0479 | 0.5309 ± 0.2205 | 0.2860 ± 0.0579 |
| test/gold_distribution | 192 | 0.0454 ± 0.0081 | 0.0100 ± 0.0019 | 0.0234 ± 0.0078 |
| test/Jev rounded proxy | 188 | 0.2964 | 1.9049 | 0.2749 |
| ood/teacher | 96 | 0.3070 ± 0.0527 | 0.5511 ± 0.2402 | 0.2795 ± 0.0662 |
| ood/gold_distribution | 96 | 0.0459 ± 0.0058 | 0.0100 ± 0.0016 | 0.0254 ± 0.0061 |
| ood/Jev rounded proxy | 95 | 0.3087 | 1.3792 | 0.2845 |
井字棋动作
| 分区/模型 | 题数 | 最优集合命中 | 最优集合概率质量 |
|---|---|---|---|
| test/teacher | 80 | 0.6708 ± 0.0191 | 0.5923 ± 0.0074 |
| test/gold_distribution | 80 | 0.6958 ± 0.0520 | 0.5888 ± 0.0139 |
| test/Jev rounded proxy | 80 | 0.7125 | 0.6154 |
| ood/teacher | 40 | 0.7083 ± 0.0144 | 0.5670 ± 0.0089 |
| ood/gold_distribution | 40 | 0.6417 ± 0.1041 | 0.5641 ± 0.0148 |
| ood/Jev rounded proxy | 40 | 0.7250 | 0.6442 |
网格动作
| 分区/模型 | 题数 | 最优集合命中 | 最优集合概率质量 |
|---|---|---|---|
| test/teacher | 80 | 0.7500 ± 0.1409 | 0.6476 ± 0.0168 |
| test/gold_distribution | 80 | 0.5708 ± 0.0439 | 0.6337 ± 0.0035 |
| test/Jev rounded proxy | 80 | 0.9750 | 0.8746 |
| ood/teacher | 40 | 0.7000 ± 0.0500 | 0.6629 ± 0.0140 |
| ood/gold_distribution | 40 | 0.6833 ± 0.0520 | 0.6567 ± 0.0005 |
| ood/Jev rounded proxy | 39 | 0.8974 | 0.8164 |
固定 seed 17 的按源组重采样区间
下表为 500 次源组 bootstrap 的 95% percentile CI；一个状态的各题共同重采样。区间描述固定 checkpoint 的数据采样不确定性，三 seed 标准差描述训练随机性，两者不混为一谈。
| 分区/模型 | 确定性 Accuracy：点值；95% CI | 解析分布 TV：点值；95% CI |
|---|---|---|
| test/teacher_seed17 | 0.7859；[0.7527, 0.8201] | 0.2510；[0.2286, 0.2703] |
| test/gold_distribution_seed17 | 0.8218；[0.7823, 0.8578] | 0.0484；[0.0437, 0.0543] |
| test/jev | 0.8138；[0.7819, 0.8489] | 0.2964；[0.2794, 0.3132] |
| ood/teacher_seed17 | 0.7775；[0.7254, 0.8185] | 0.2461；[0.2127, 0.2744] |
| ood/gold_distribution_seed17 | 0.7125；[0.6549, 0.7673] | 0.0463；[0.0387, 0.0550] |
| ood/jev | 0.8271；[0.7804, 0.8701] | 0.3087；[0.2904, 0.3257] |
Brier/ECE、KL 等其余主指标区间及源组数量保存在配套 JSON。bootstrap 以观察到的源组为单位，不能覆盖同一规则族的全部结构相关性。
真实游戏回放
固定每个 test/ood 分区前 20 个可达网格起点和前 20 个井字棋起点；每个策略共 80 局，失败完整保留。所有井字棋使用同一完美 minimax 对手，单合法动作单独记录且不调用学生模型。所有已加载轨迹逐步由环境重新校验。
| 策略/分区 | 网格成功率 | 网格路径效率 | TTT 价值保留率 | TTT 轨迹进入训练组 |
|---|---|---|---|---|
| teacher/test | 0.1000 | 0.1000 | 0.6500 | 6/20 |
| teacher/ood | 0.0500 | 0.0500 | 0.2500 | 18/20 |
| gold/test | 0.2500 | 0.1738 | 0.7000 | 6/20 |
| gold/ood | 0.1500 | 0.0861 | 0.1500 | 20/20 |
| random/test | 0.9000 | 0.3674 | 0.6000 | 7/20 |
| random/ood | 0.6500 | 0.2739 | 0.3000 | 19/20 |
| oracle/test | 1.0000 | 1.0000 | 1.0000 | 6/20 |
| oracle/ood | 1.0000 | 1.0000 | 1.0000 | 20/20 |
TTT 初始必败局面的“价值保留”自动满足，须结合 JSON 的初始价值分层与非败局面指标。早盘 OOD 回放可能进入训练的中后盘棋盘组，因此不代表全程未见状态；网格必须继续核对源地图全程隔离。该回放与离线动作集合命中是不同指标。
离线指标按各训练 run 的冻结推理精度计算；学生回放的记录精度与固定 seed 17 checkpoint 哈希在 JSON 中单独核对，不能用另一个 seed 的较好离线结果替换这里的轨迹。
完成状态与复现
teacher_seed17：dev 选中 step 512；输入和结果文件哈希已验证。teacher_seed18：dev 选中 step 462；输入和结果文件哈希已验证。teacher_seed19：dev 选中 step 562；输入和结果文件哈希已验证。gold_distribution_seed17：dev 选中 step 512；输入和结果文件哈希已验证。gold_distribution_seed18：dev 选中 step 562；输入和结果文件哈希已验证。gold_distribution_seed19：dev 选中 step 562；输入和结果文件哈希已验证。
复现：python3 scripts/summarize_pipeline_v2.py --allow-incomplete。不带该开关时，缺失结果会写入报告并返回退出码 2。脚本不训练、不调用模型、不修改原始预测。所有完成结果、各 seed 数值、匹配教师覆盖的对照、完整 bootstrap 区间和哈希保存在 research/pipeline_v2_summary.json。
这些是受控合成规则和自写小游戏，不是 Jev 通用能力、开放世界游戏能力或现实场景校准的证明。教师为低精度 API 输出代理；未测得其内部高精度分布。