THE EXPERIMENT HANDBOOK
把想法，放进实验里。
16 篇算法拆解与实践记录。从一个训练循环，走向会搜索、会行动、会看图的 Agent。
Loss Functions
从直觉理解强化学习损失
从 importance sampling 到 PPO、CISPO，看清每一次策略更新到底在优化什么。
基础与优化02GRPO
从组内比较开始
在 GSM8K 上走通采样、奖励与更新，亲手比较三种 loss 的训练行为。
基础与优化03Vision GRPO
让强化学习看见图片
在 GeoQA 上接入图像输入，把图文推理与可验证奖励串起来。
多模态与前沿04PyTrio-Jev
训练自己的分类决策模型
用 2160 条数据微调 Qwen3.5-4B，走通决策模型的 LoRA 训练、受限 softmax 推理、温度校准与五项基准评测。
多模态与前沿05General OPD
让学生在自己的轨迹上学习
用 DeepMath-103K 串起 Student 采样、Teacher 打分与 reverse KL。
蒸馏与自学习06Medical OPD
专业能力与通用能力的平衡
从 Medical SFT 出发，实验 SAR-OPD 与 IDT-OPD，观察多任务能力的变化。
蒸馏与自学习07DAPO
拆开训练稳定性的四个改进
拆解四项核心设计，记录 Dynamic Sampling 在真实训练中的收益与时间成本。
基础与优化08GSPO
把优化单位提升到序列
实现 sequence-level 重要性比率与裁剪，厘清核心 loss 和完整训练的边界。
基础与优化09OPSD
从自己生成的轨迹中蒸馏
固定 step-0 Teacher，在 Student 自采样轨迹上构造蒸馏信号。
蒸馏与自学习10AgentOPSD
把信用分配到每一轮交互
让带 Skill 的 Self-Teacher 给出 turn-level 信号，分析多轮 Agent 的学习过程。
多模态与前沿11Search-R1
学会在思考中搜索
用 DeepSeek 官方 Search API 或 Wikipedia 获取证据，复现多轮搜索训练，并比较 Base 与 30-step checkpoint。
工具与环境12ReTool
把 Python 变成推理工具
连接本地代码沙箱，复现思考与代码执行交织进行的 Agentic RL。
工具与环境13ALFWorld
训练一个会做家务的 Agent
在真实 TextWorld 环境里，处理长轨迹、环境反馈与家务任务。
工具与环境14TEMPO
用小段轨迹学习长程任务
在 ALFWorld 中探索 macro-step 优化与生成式 critic，记录算法级复现的边界。
多模态与前沿15Spec-o3
用强化学习寻找天上的星星
从 SFT 到 GRPO，让模型边看光谱、边思考、边调用工具完成天体候选审核。
多模态与前沿16Tournament-GRPO
让研究报告打一场淘汰赛
让同题研究报告两两比赛，用淘汰赛胜场构造 GRPO 奖励，记录 PyTRIO 上的 20 步训练与独立评测。
工具与环境第一次来？从 学习路线 → 找到适合自己的起点。