LESSON 5.3 · 理论 · 120 分钟
偏好数据与奖励模型
偏好数据与奖励模型：理解pairwise preference、Bradley-Terry、reward hacking，完成“训练微型 reward model”。属于「让模型成为助手」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「偏好数据与奖励模型」解决了什么问题。
- 能围绕 pairwise preference、Bradley-Terry、reward hacking 画出变量与因果关系。
- 能完成「训练微型 reward model」，并用证据而不是感觉判断结果。
核心概念
pairwise preference
pairwise preference从成对比较中学习相对偏好，而非绝对真值。数据采样、标注者分歧和长度偏差会进入奖励模型，并可能被策略利用。
Bradley-Terry
Bradley-Terry从成对比较中学习相对偏好，而非绝对真值。数据采样、标注者分歧和长度偏差会进入奖励模型，并可能被策略利用。
reward hacking
reward hacking要放进目标—数据—优化—评测闭环，特别检查代理指标是否会被模型钻空子。 写出至少一个不变量、shape 约束或成立条件。
实践任务
训练微型 reward model
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用固定评测集、人工复核、置信区间与失败样本分层；保存参数、随机种子与原始结果。
- 迁移：改变用户群、风险等级或奖励信号后重新设计评测，说明原结论是否仍成立。