DPO：绕开奖励模型的偏好优化

DIRECT ANSWER · VERIFIED SOURCES · 2026-07-22

DPO 如何不用单独训练奖励模型和在线强化学习就学习偏好？

DPO 使用同一提示下的 chosen/rejected 回答对，比较当前策略对两者的对数概率差，并减去固定参考策略的对应差值，再通过带 β 温度的 logistic 损失提高 chosen 的相对优势。它把带 KL 约束的偏好优化改写成一个直接作用于语言模型的分类式目标，因此标准流程不需要单独拟合奖励模型或进行在线 rollout。

视频对齐

视频对齐点：紧盯四项 log-prob——策略与参考模型各自对 chosen/rejected 的序列对数概率——以及它们如何组成 margin、乘 β、进入 log-sigmoid。

关键结论

• 参考策略定义“不要偏离太远”的基线，训练时通常冻结，只更新当前策略。
• β 控制相对参考策略的偏好强度；它不是普通学习率，效果依赖数据和实现约定。
• 损失使用回答 token 的条件对数概率，提示 token 通常不计入 chosen/rejected 的评分。

边界与常见误解

DPO 简化了经典 RLHF 管线，但没有消除偏好数据偏差、标签噪声、长度效应或分布外退化。它优化成对相对偏好，并不自动保证事实性、安全性或所有群体的偏好一致。

一手来源

• Rafailov et al. · Direct Preference Optimization
• Hugging Face TRL · DPO Trainer
• Stanford CS336 · Language Modeling from Scratch

reference policy

reference policy比较策略对 chosen/rejected 的相对 log-prob，并用参考策略约束偏移。它省去在线 rollout，但仍依赖偏好数据覆盖和 beta 强度。

KL

KL把概率预测变成可相加的代价。负对数会重罚模型对真实答案给出极低概率；交叉熵等于数据熵加上分布错配，因此优化时真正能降低的是错配部分。

DPO objective

DPO objective把计算、参数或序列分给多设备，同时引入通信成本。选择策略时要比较消息大小、链路带宽、同步频率和流水线空泡，而不是只看 GPU 数量。