LESSON 5.5 · 理论 · 150 分钟
PPO / GRPO 与 RL 后训练
PPO / GRPO 与 RL 后训练：理解policy gradient、advantage、KL control、rollout，完成“在玩具任务比较 SFT/DPO/RL”。属于「让模型成为助手」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「PPO / GRPO 与 RL 后训练」解决了什么问题。
- 能围绕 policy gradient、advantage、KL control 画出变量与因果关系。
- 能完成「在玩具任务比较 SFT/DPO/RL」，并用证据而不是感觉判断结果。
核心概念
policy gradient
policy gradient用采样轨迹估计行为对奖励的贡献。优势函数降低方差，KL 控制策略漂移；训练稳定性取决于奖励、采样和更新比例的共同设计。
advantage
advantage用采样轨迹估计行为对奖励的贡献。优势函数降低方差，KL 控制策略漂移；训练稳定性取决于奖励、采样和更新比例的共同设计。
KL control
KL control把概率预测变成可相加的代价。负对数会重罚模型对真实答案给出极低概率；交叉熵等于数据熵加上分布错配，因此优化时真正能降低的是错配部分。
rollout
rollout用模型在执行前模拟动作后果。单步误差会在多步滚动中累积，因此规划必须用完整轨迹的回报和失败率验证，而不能只看下一状态准确率。
实践任务
在玩具任务比较 SFT/DPO/RL
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用固定评测集、人工复核、置信区间与失败样本分层；保存参数、随机种子与原始结果。
- 迁移：改变用户群、风险等级或奖励信号后重新设计评测，说明原结论是否仍成立。