JJev Cookbook
课程首页 中文文档 拓展阅读 GitHub ↗

拓展阅读 / NanoJev:小型决策模型

知识库收录材料 · 原始文件 ↗ · 来源、版本与许可

NanoJev、Jev 与原始 Qwen:冻结闭环对照

240 局真实轨迹与概率来源核验通过。

每个系统都在相同的 20 张 test 地图和 20 张 OOD 地图上运行 greedy 与 T=1 采样。NanoJev 固定使用 训练后的模型 v3_teacher_coords_multi_seed17;原 V3 主 gold 模型及结果保持不变。本表的“原始 Qwen”是未经本项目微调的预训练 Qwen3-0.6B,通过原生 LM head 对所提供 A–D 选项取条件概率;并非随机模型。

系统控制器test 完成率OOD 完成率test 路径效率OOD 路径效率
nanojevgreedy90%50%0.90000.5000
nanojevsample95%90%0.82500.5442
jevgreedy100%80%1.00000.8000
jevsample100%95%0.82780.8081
qwengreedy30%5%0.30000.0500
qwensample35%15%0.31670.0709

路径效率在成功时为最短距离/实际步数,失败为 0;完成率与效率分别评价。所有失败保留到固定 horizon;单合法动作无需模型并另计。完整步数、重复访问率、最优动作质量和实际动作见配套 JSON。

在这批地图上,NanoJev 采样完成率为 test 95%、OOD 90%;Jev 为 100%/95%,原始 Qwen 选项接口为 35%/15%。NanoJev 相对所测原始 Qwen 接口有明显的任务收益,但尚未达到 Jev 在这里的效率;这组小型导航任务也不足以证明一般能力相当。

NanoJev 使用训练后的动态候选决策头;Qwen 使用原生词表头及完整选项提示;Jev 的内部实现不可见。它们同时存在结构、输入接口和训练差异,因此这是三种固定系统的对照,不能称为纯训练因素的因果实验。未为原始 Qwen 搜索最佳提示,也未按新对照结果挑选视频样例。

概率与调用来源

NanoJev 柱图表示动态候选动作分布;Qwen 柱图是“下一 token 属于所提供 A–D 之一”条件下的分布,完整词表中这些 token 的总质量另存;Jev 柱图是 native rounded 数值除以其总和得到的代理分布。它们都不是通关概率。Jev 原样 rounded 数值和原始和保留,未声称恢复服务端未舍入概率。

本次日志有 145 次请求开始、145 次成功、0 次失败。每一步 Jev 决策均关联本次成功请求或该请求的 exact-input 缓存;状态、全部问题/候选、请求 hash、响应 hash 与原始日志逐项匹配,没有读取旧训练教师标签。

  • greedy:117 次新 API 请求、209 次缓存命中;动作向量原始和与 1 的偏差大于 1e-12 的决策引用为 0 次,仅按浮点精确相等判断不等于 1 的引用为 3 次。

  • sample:28 次新 API 请求、208 次缓存命中;动作向量原始和与 1 的偏差大于 1e-12 的决策引用为 0 次,仅按浮点精确相等判断不等于 1 的引用为 6 次。

以上舍入统计只针对用于动作选择的 action 向量,计数单位是决策引用,缓存可重复引用同一个响应。API 内部 forward/解码次数记为未知;没有把并发 HTTP 请求伪称一次多状态原生 forward。

来源核验依靠本次执行脚本、工具调用及 started/succeeded 日志链;本地文件本身无法独立证明外部服务执行。Jev 原运行记录未保存 base renderer/controller/worker 三项依赖 hash,核验 JSON 明确列出这一缺口,并把当前源码 hash 标为事后审读值;未改写历史轨迹或重跑 API。

视频与统计边界

固定展示 cohort 中 test 前两例和 OOD 前两例,greedy/采样均包含。每列按环境步同步,到终点后停住;这不是推理延迟竞赛。实际 API 延迟、缓存和 GPU 批处理方式不同,不能用影片播放速度比较服务延迟。

只有一个训练 checkpoint 和一个采样 seed。配套核验 JSON 给出 500 次源地图配对 bootstrap;区间反映固定系统/固定 RNG 下的地图采样不确定性,不包含训练或 RNG 方差。三方使用同一新 V3 cohort,不能与旧 V2 的不同地图直接作胜负比较。

完整协议 · 公共轨迹与概率 · 核验与配对区间 · 最小 API 来源记录

公开 API 来源记录只包含自写游戏请求、原生概率/舍入说明、时间和 hash;不含密钥、headers、账户/项目标识、供应商 envelope 或逐调用费用。保留完整原生概率对象是为了复核原响应 hash。

快照未包含部分工程附件或配图;请通过上游链接或原始材料查看,收录范围见来源清单。

第十一章知识库收录材料 · 来源、版本与许可 · 第三方内容版权归各自作者;观点与数字请对照原始来源核验。