OpenJev：初始化选择与训练查询分布
更新入口：本文件保留早期调研语境。当前实现、已训练实验与最终决策见 最新实施计划 和 真实实验报告。
更新：2026-09-17。本文回答两个训练前问题：为什么从哪个 checkpoint 开始，以及教师要标注的查询从哪里来。本轮仅补充研究规格，未下载完整数据集、批量标注或训练学生。
1. 修正初始化的默认选择
把 reranker 设为默认主学生的依据不足。它的工程优势是现成的条件评分读出，可能减少适配成本；但检索相关性后训练并不等于通用决策训练，也没有本项目证据证明它胜过通用 LLM。
当前主线改为：通用 LLM checkpoint + 动态候选判分读出 + 任务条件化分布训练。Reranker 保留为迁移对照，GLiClass 保留为效率对照。
同家族可比较 Qwen3-0.6B-Base、Qwen3-0.6B 和 Qwen3-Reranker-0.6B。前者官方标注 pretraining，中间为 pretraining & post-training；reranker 是任务后训练起点。0.6B 只是便于控制变量的先导尺寸，不是最终容量承诺。Base 模型卡、通用后训练模型卡、Reranker 模型卡
| 初始化 | 合理动机 | 待测限制 |
|---|---|---|
| Base LLM | 直接从通用预训练表征学习决策契约，减少已有特定后训练目标的干扰 | 需要学会新输入格式、规则遵循和概率读出；不能推断它天然更校准 |
| 通用后训练 LLM | 已有理解任务指令的训练起点，可能在少量数据下较易适配 | 文本生成/偏好后训练的行为不保证迁移到直接概率头；优势须实测 |
| Reranker | 已有条件评分先验和读出，接入方便 | 排序相关性偏差，未证实对任意问题更好 |
比较骨干初始化时采用相同数据、输入结构、读出初始化、损失和训练预算；原生 reranker 的 yes/no 读出另作工程基线，避免混淆骨干与评分头的贡献。因果 LLM 权重可以一次 forward 后读取评分，不需要调用 generate。
2. 教师监督训练先要有输入分布
令 x=(state, question, candidates)，分布监督训练优化：
E_{x ~ D_train} KL(teacher(.|x) || student(.|x))API 教师提供的是条件输出；D_train 必须由我们构建。我们没有 Jev 的训练集或真实客户查询分布，不能声称从 API 自动取得它们。需要先定义 OpenJev 覆盖的目标任务分布，再使查询采样覆盖这些任务。
只在少数固定分类问题上匹配 teacher，不能证明在任意新规则、新 rubric 和新候选集合上复现 Jev。任务多样性、条件变化和测试分区比简单把调用数量做大更重要。
3. 查询的具体来源
| 来源 | state 来自哪里 | question 来自哪里 | candidates 来自哪里 | 标签来源与限制 |
|---|---|---|---|---|
| 开放判别数据：Banking77、适用的 NLI/分类/多选任务 | 原始文本、文本对或材料 | 原任务定义、经过核对的指令模板 | 原标签语义或原始选项 | 原标签只对应原问题，换题不能沿用 |
| Tasksource、PromptSource、Natural Instructions | 其引用的原数据实例 | 任务定义、模板、规则描述 | 明确的标签或 answer choices | 用作任务目录和适配器入口；筛选有限候选任务，逐源记录许可 |
| 自写业务政策与状态生成器 | 订单、退款、权限、账户、工具状态机 | 同时可执行与可用自然语言描述的政策/判定程序 | 决策类别、下一动作或有明确阈值的等级 | 执行器给真值；复杂算术可单列压力测试，不让它主导 System 1 任务 |
| 自定义语义 rubric | 自有文本，或选定开放材料与回复 | 评审者设计的原子维度和等级定义 | 每级的完整语义描述 | 教师提供软标签，独立审阅子集；主观意见分布不称为客观事件发生率 |
| 目标工作流的模拟轨迹 | 代码运行得到的调用前状态快照 | 下一步需要作出的实际判断 | 工具/动作目录，以及明确的缺信息/升级选项 | 程序可验证状态与动作合法性；任务成功与最佳动作不一定有唯一真值 |
已经核验到的可用研究入口：
Tasksource-instruct：模型卡说明由 485 个数据集改写，重点为 classification、token classification、multiple choice。本项目只选择适合原语的任务，不把 token 标注或自由生成任务未经转换直接混入。
PromptSource：模板把原实例映射到自然语言输入和目标，包含 answer choices。适合抽取题意与候选，而不是仅复制其目标文本。
Natural Instructions：任务 schema 含 Definition、Source、Domains、Instances 等，可作为任务定义与分组元数据来源。
Banking77：银行意图分类，页面标注 CC BY 4.0。可提供真实语言风格的意图文本，但不能补出原文不存在的订单事实或退款政策。
SNLI：原材料、命题与蕴含标签可转为证据判断，保留支持/矛盾/未说明的区别；官方为 CC BY-SA 4.0，不与其他数据统一改成 Apache。少量多人判断可用于研究意见差异，不等同于现实事件概率。
以上是已核查的来源与转换设计，不是已完成的数据下载清洗结果。工具/模板仓库的许可不能替代底层数据许可；发布数据构建器时按来源保留归因与条件。
4. 从任务目录生成联合分布
先登记每类任务的规格：
task_id / task_family / source / version
state_schema 或原数据字段映射
question_definition / policy_or_rubric
candidate_builder / missing_information_semantics
gold_source（可以为空）/ teacher_signal_type
source_group / split / sampling_stratum然后按依赖关系采样，不能随机把无关的问题、文本和候选拼起来：
选择任务族 t
→ 选择其规则/问题与候选空间
→ 从相应来源读取或生成 state
→ 构造本次候选集合与问题文本
→ 校验题目可理解、候选语义及来源
→ 执行器/原标签给可用 gold
→ 教师对完全相同的 (state, question, C) 给分布同源数据先分组，改写和反事实变体继承分区。语言、输入长度、候选数、否定/冲突、信息充分性、规则新颖性作为采样维度；初始配比是我们声明的设计，不假装知道真实生产频率。困难样本可适量过采样，但概率校准与最终评测应在单独定义的目标分布上进行，不只测主动采样的难例。
生成式 LLM 的职责可包括：把结构化事实表达成自然语言、提出新的任务规格、改写问题、构造经审核的难负例。它不能以“生成了一个答案”自动构成独立真值。无需每条教师监督样本都有独立 gold，但必须保留独立评测，避免任务生成、教师标签与判卷全由同一个模型封闭自证。
5. 一个自写查询族的具体例子
以下为说明设计而新写的例子，不来自公开数据集，也没有调用教师：
事实：订单交付后 12 天，商品未拆封，尚未退款。
问题 A：政策允许交付后 7 天内退货。该订单是否符合期限？
候选：符合 / 不符合 → 执行器标签：不符合
问题 B：政策允许交付后 30 天内退货。该订单是否符合期限？
候选：符合 / 不符合 → 执行器标签：符合
问题 C：订单是否已经完成退款？
候选：已完成 / 尚未完成 / 信息不足 → 事实标签：尚未完成这个任务族明确训练“问题/规则改变，答案也改变”，而不是把每个 state 永久绑定到一个类别。随后可以由生成器改变时间、条件、措辞或证据完整性，并重新执行规则或重新标注。不会因缺少信息就统一设概率 0.5。
候选删除、增加、语义改变后要重新确定目标；不能简单剪裁旧教师概率再归一化，并当作教师在新集合下的输出。只做顺序置换且语义完全一致时，才可同步置换目标索引；另用独立调用检查教师是否有顺序偏差。
6. 修订后的训练前顺序
建立任务目录与来源映射，标明哪些能力由公开任务覆盖，哪些需要自写规则/rubric。
固定源数据、规则与任务族的训练/开发/校准/测试分区，预留新任务族。
实现查询构建器，先检查任务覆盖和语义有效性，再决定调用多少 teacher。
采集教师分布与可用的独立标签，保留原始输入和来源。
在同一查询分布上比较直接 LLM 初始化、reranker 初始化及效率基线。
模型与数据学习曲线支持时再扩充；复用前轮 checkpoint，针对缺口增加任务而非只增加改写。
此前约 2,000 state / 8,000 questions 仅保留为先导成本量级，不能作为广泛零样本泛化的充分数据规模。第一批应优先覆盖不同任务定义，再在已有任务内补实例。当前最先需要落地的是任务目录和查询构建器，尚不具备“现成输入集已就绪，可以直接大规模教师监督训练”的状态。