后训练优化专题术语表

全教程写作遵循术语表与中英文写作规范。本表集中解释后训练链路中的数据、目标、状态和项目术语；上游梯度、保存张量、累计窗口、有效更新、更新时钟和状态生命周期查询反向传播与训练机制术语表，数据身份与指纹查询数据工程术语表，教师、学生和蒸馏产物查询量化与压缩术语表。

训练阶段、数据与产物

中文主称	英文 / 缩写	本专题含义	容易混淆之处
预训练	pretraining	用大规模语料建立通用表示和基础能力	是后训练的上游背景，不是本专题的算法分支
持续预训练	continued pretraining	在领域、时间段或长上下文语料上继续下一词元训练	与使用指令—回答监督目标的 SFT 不同
基础模型	base model	完成预训练、尚未针对目标行为完成后训练的模型	不等于经过 SFT 的行为基线
后训练	post-training	在基础模型上建立任务接口、偏好行为或奖励驱动策略的训练阶段	包含 SFT 和偏好 / 奖励优化，不等于只做强化学习
对齐	alignment	让模型行为满足目标偏好、安全要求或任务约束	是目标类别，不特指 PPO、DPO 或任一单独算法
提示与回复	prompt / response	模型输入上下文与目标或生成内容	代码字段、数据 schema 可保留 prompt、response
监督微调	SFT	用指令—回答监督信号训练下一个 token 预测	属于后训练，但训练控制机制与预训练共用
标签与标签掩码	labels / label masking	指定哪些 token 进入监督损失，并将提示、填充等位置标为忽略	Attention mask 控制可见性，labels 控制损失位置
损失	loss	当前训练目标在一个批次上的数值	损失下降不自动代表独立任务质量提升
参数高效微调	PEFT	只训练少量新增或选定参数	LoRA 是 PEFT 的一种，不等于所有低资源训练
适配器	adapter	与基座分离保存的可训练增量参数	合并后的权重与独立 adapter 是不同产物
检查点	checkpoint	可恢复训练或复现模型状态的保存点	只有模型权重而缺少优化器、调度器和进度时不一定可恢复
产物	artifact	模型、适配器、配置、清单和哈希等可交付文件集合	不只是一份权重文件
基线与候选	baseline / candidate	在固定工作负载中被比较的现有方案与待验证方案	“新模型”不自动是候选，必须固定身份和比较条件

偏好、奖励与策略目标

中文主称	英文 / 缩写	本专题含义	容易混淆之处
偏好对	preference pair	同一提示下的优选回答（chosen）与非优选回答（rejected）	两条回答必须使用同一提示、模板和响应 Token 范围
策略	policy	生成回复或轨迹并接受更新的模型	与部署服务实例、参考策略和旧策略快照区分
参考策略	reference policy	为偏好目标提供相对约束的固定策略	不等于 rollout 时的旧策略快照
行为策略与旧策略	behavior policy / old policy	前者实际生成轨迹，后者是更新算法保存的比较快照	两者是否一致需核对版本、采样分布和概率计算方式；不能仅凭名称合并
策略比率	policy ratio	当前策略与旧策略对同一动作概率之比	不是模型质量分数；PPO 用它限制单次更新幅度
KL 散度与 KL 约束	KL divergence / KL penalty	衡量当前策略相对参考策略的分布偏离，并作为训练约束	不能修复错误奖励或污染数据；系数变化需要固定工作负载复测
奖励	reward	环境、规则验证器或奖励模型给出的任务反馈	奖励不等于训练损失，也不自动代表真实任务质量
奖励覆盖率	reward coverage	能获得有效奖励、而非超时或无法判定的轨迹比例	覆盖率高不代表奖励能区分候选
奖励区分度	reward discriminability	奖励在候选之间形成稳定相对差异的能力	不追求分布均匀；大量同分、全正 / 全负或饱和都会削弱更新信号
奖励塑形	reward shaping	将正确性、格式、长度、KL 等多个信号组合为更新反馈	各分量必须分别记录，避免总奖励掩盖奖励投机
终止奖励与逐 Token 奖励	terminal / token-level reward	分别在轨迹结束时或每个生成位置提供反馈	奖励放置位置会改变回报和优势的传播方式
奖励模型	reward model	将轨迹或回答映射为标量偏好信号	奖励不等于价值，价值是期望回报基线
奖励模型快照	reward model snapshot	与模型权重、分词器、数据版本和评分配置绑定的不可变奖励模型版本	只记录模型名称不足以复现分数；同一次对照必须使用同一快照
成对奖励目标	pairwise reward objective	扩大同一提示下优选回答与非优选回答的标量分数差	只约束相对排序，不保证跨提示的绝对分数可比
奖励校准	reward calibration	在留出偏好对上调整分数差到概率的置信尺度	温度可以调整置信度，不能修复错误排序或数据污染
奖励过度优化	reward overoptimization	策略继续提高代理奖励，但独立质量、安全或鲁棒性已经下降	必须用隐藏评测和回滚门槛识别，不能只看奖励均值
奖励—质量背离	reward-quality divergence	代理奖励继续上升，而冻结评测集上的正确性、安全或鲁棒性下降	是奖励漏洞或分布偏移的证据，不应解释为训练仍在改善
回报	return	从当前位置开始累计的后续奖励	与单步奖励、最终任务分数区分
价值与价值模型	value / Critic	对状态未来回报的估计及其模型	Critic 输出 value，不直接替代奖励模型
PPO 模型角色	policy / reference / reward / value models	当前策略负责生成与更新，参考策略约束漂移，奖励模型提供反馈，价值模型估计回报基线	旧策略通常是采样时的策略快照，不必长期作为第五个独立模型驻留
优势	advantage	回报相对基线的更新信号	PPO 可用 value 基线，GRPO 可用组内基线
组内基线	group baseline	用同一提示下候选奖励的组内统计量构造相对优势	组内奖励方差接近零时，更新信号会退化

轨迹、环境与在线状态

中文主称	英文 / 缩写	本专题含义	容易混淆之处
采样轨迹	rollout	带策略版本、token、动作、奖励和状态的采样记录	不只是最终提示—回复文本；过程名称也可写 rollout
轨迹身份	rollout identity	由轨迹 ID、提示 ID、模型与策略版本、分词器、采样配置和奖励版本组成的身份字段	文件路径和生成时间不能替代这些字段
轨迹预留	rollout reservation	在参数更新提交前，把一组已奖励轨迹原子地绑定到某个更新批次	预留不等于已消费；更新失败后必须按恢复规则释放或隔离
轨迹消费	rollout consumption	参数更新成功提交后，将对应轨迹标记为不可再次用于同一更新语义	不能在更新提交前提前标记，否则失败后无法正确恢复
Agentic RL	agentic reinforcement learning	在工具或环境的多轮交互轨迹上构造奖励并更新策略	不是独立的更新算法；可复用 PPO、GRPO 等方法，沙盒与工具执行归 Agent Infra
环境轨迹	environment trajectory	由任务、观察、模型动作、工具结果和终止状态组成的可回放交互记录	环境返回不是模型生成动作，二者必须保留不同来源
动作掩码	action mask	标记轨迹中哪些 Token 由策略生成并进入策略损失	不等于 Attention mask，也不能把工具返回内容计入策略梯度
环境观察	environment observation	工具或沙盒执行后返回给策略的状态与结果	作为后续上下文使用，但不自动成为训练目标
采样批次与更新批次	rollout batch / update batch	分别表示一次生成收集的轨迹集合和一次参数更新消费的数据集合	两者大小、切分和版本可以不同，必须通过轨迹身份关联
策略新鲜度	policy freshness	轨迹策略版本与当前 learner 版本的差距	文件时间不能替代策略版本
策略滞后	policy lag / staleness	轨迹生成版本落后于当前学习器版本的程度	新鲜度是准入条件，滞后是需要度量和限制的差值
在策略与离策略	on-policy / off-policy	轨迹是否由当前待更新策略或其他历史策略产生	不能只凭数据文件的新旧判断，必须检查策略版本
策略版本激活	policy version activation	新策略文件写入并通过版本、哈希和工作进程确认后，才允许采样端切换版本	文件已生成不等于所有工作进程已经使用新策略

执行、评测与采用

中文主称	英文 / 缩写	本专题含义	容易混淆之处
验证器	verifier	用规则、执行结果或环境终态检查回答或轨迹	只能覆盖已编码规则，仍需独立检查规则之外的质量维度
模型评审器	LLM-as-a-Judge	使用模型按固定评分规则比较或评分输出	需要记录模型、提示、顺序和一致性，不能当作绝对真值
学习器与工作进程	learner / worker	执行参数更新的角色与承担采样、奖励等阶段的进程	角色、进程和物理 GPU 不是同一层概念
共置与解耦部署	colocated / disaggregated	采样、奖励和更新角色共享或拆分计算资源的系统拓扑	是资源与调度选择，不改变奖励和优势的数学定义
阶段倍率	stage multiplier	一个上游工作单位在某阶段展开出的对象数量，例如每个提示生成 G 条轨迹	不先换算倍率，就不能直接比较采样、奖励和更新吞吐
等价处理率	equivalent processing rate	将各阶段处理率换算到同一工作单位后的速率	原始的“轨迹每秒”和“提示组每秒”不能直接取最小值
队列余量	queue slack	阶段等价处理率减去到达率	余量为负表示队列将持续增长，不等于一次运行已经 OOM
互连域	fabric domain	多条传输边共享带宽和竞争关系的通信资源范围	同一互连域的占用需要聚合；独立互连域不能简单串行相加
可验证奖励强化学习	RLVR	使用规则、执行器或 verifier 产生可检查奖励	可验证不代表奖励设计没有漏洞
回滚门槛	rollback gate	安全、质量或稳定性退化时撤回候选	训练 loss 改善不能绕过回滚条件
独立评测	independent evaluation	使用与训练隔离的数据和固定评分协议比较基线与候选	验证集反复用于选模型后，不能再当作未参与选择的最终留出集
开发、验证与最终留出集	development / validation / final holdout	开发集用于调参，验证集按协议筛选候选，最终留出集在候选冻结后评估	实际用途决定是否独立，不能只按文件名判断

教师反馈与学生蒸馏

教师—学生训练先区分轨迹来源与监督来源，再比较学生质量和部署成本。分布目标和压缩产物的详细定义见量化与压缩术语表；计算关系见公式索引。

中文主称	英文 / 缩写	本专题含义	容易混淆之处
冻结教师	frozen teacher	参数保持不变，为指定上下文提供回答或概率分布的模型	教师质量需要独立检查；教师反馈不是奖励模型的标量奖励
学生起点	student initialization	所有待比较蒸馏路线共用的学生权重与分词配置	已经过其他训练的学生不能冒充共同起点
固定轨迹蒸馏	fixed-trajectory / offline distillation	使用预先保存的回答轨迹训练学生，教师可事先打分或在训练时计算分布	离线指轨迹不随当前学生更新，并不表示教师必须离线运行
学生在策略蒸馏	student on-policy distillation / OPD	从当前学生生成轨迹，再由冻结教师监督这些上下文	教师生成回答不属于学生在策略采样；轨迹版本仍需记录
广义知识蒸馏	generalized knowledge distillation / GKD	将轨迹来源与教师—学生分布目标分别配置的蒸馏方法	轨迹混合比例与 KL 方向控制不同变量
教师分布与奖励反馈	teacher distribution / reward feedback	前者给出词表位置上的概率监督，后者评价回答或动作的结果	使用同一模型提供反馈，也不能把分布蒸馏直接称为 GRPO 更新
质量保持	quality retention	学生在同一独立任务上满足预先规定的相对教师质量要求	学生优于自身起点，不等于已达到教师质量要求
回答截断率	response truncation rate	达到长度上限等规定截断条件的回答数占受测回答数的比例	截断与答案解析失败分别统计；不同分母的比率不能直接比较

使用规则

• 首次出现使用“中文主称（English）”，后续使用中文主称或通用缩写。
• SFT、LoRA、QLoRA、DPO、KTO、PPO、GRPO、RLOO、RLVR、GKD 可直接使用；普通叙述优先使用“基线、候选、工作负载、产物、执行后端”。
• prompt、response、labels、chosen、rejected、reward 等只在代码字段、公式、JSON 或首次释义中保留；连续中文叙述使用“提示、回复、标签、优选回答、非优选回答、奖励”。
• policy、reference、rollout、judge、verifier、checkpoint、artifact 在首次出现时给出中文主称，后续优先使用中文；框架类名和 API 不翻译。
• old_policy、policy_ratio、kl_coef、rollout_batch 等代码字段保持原名；正文分别写“旧策略”“策略比率”“KL 系数”和“采样批次”。
• 数据版本、策略版本、模型修订版本和产物哈希分开记录，不用“版本一致”概括；代码字段中的 revision 与 hash 保持原名。
• 不对 Notebook JSON、代码变量和框架 API 做无上下文批量替换。