Day 80 · 强化学习与 Agent:RLVR、GRPO 和工具使用训练
SFT 和蒸馏都是在模仿,上限是老师。强化学习让模型从结果的对错里学,这是 2025 年以来推理模型和 Agent 能力提升的主要来源。今天讲清楚 RLVR 和 GRPO 在做什么,怎么给 Agent 设计奖励、怎么防奖励作弊,用 TRL 跑一个最小的 GRPO 实验,最后说清楚这块对应用工程师的意义边界。
Day 78 · 偏好优化:DPO 让模型学会「更好的回答」
客服回复没有唯一的标准答案,只有「这个比那个好」。今天把 RLHF、DPO、KTO、ORPO 这几种偏好优化方法的区别讲清楚,从 SupportPilot 的人工修改记录和评测结果里造成对数据,用 TRL 跑一次 DPO,再检查它有没有学到你不想要的东西,比如回复越来越长。