Robust Preference Optimization through Reward Model Distillation

一句话直觉

一张硬胜负标签可能只是一次有噪声的投票，让策略学习有不确定性的偏好分布会更稳健。

要解决什么，怎样做

论文分析单次或少量标注下DPO容易过度自信、隐式奖励幅度持续增大的问题，甚至chosen概率也可能退化。方法先训练奖励模型，再把其诱导的偏好分布蒸馏给策略；进一步使用一个奖励模型族来反映奖励不确定性，而不是绝对相信单一评分器。

和已有方法的区别

它主动重新引入奖励建模，却保留监督式策略训练的简单性，不必因此回到完整在线强化学习。与单纯把硬标签平滑成同一个常数相比，奖励模型可以提供样本相关的软偏好。

阅读边界与局限

蒸馏不会自动修复评分器共同偏差。奖励模型族如果没有覆盖合理偏好，所谓鲁棒性仍可能建立在错误集合上；训练与验证都应使用独立来源，检查概率校准和下游分布偏移。

自测

1. 一个偏好对只标注一次，为什么不能据此认定其真实偏好概率为1？
2. 多个奖励模型都犯同样的错误，模型族能否解决问题？

小实验（自学设计）

模拟每对回答有真实但非确定的偏好概率，分别只采一张硬标签和多次重复标签。比较硬标签学习、固定平滑及奖励分布蒸馏，测校准误差和分布转移后的排序质量。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。2024为预印本首发；清单后续期刊信息未在本次摘要核验中逐项复核。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #47

提出通过奖励模型蒸馏实现鲁棒偏好优化。核心方法：(1)问题识别——DPO的隐式奖励趋向无穷大，导致即使preferred生成概率也崩溃为零；(2)奖励蒸馏——先训练显式奖励模型，再训练LM使其隐式奖励（策略/参考模型的对数似然比）匹配显式奖励模型的打分；(3)模型族蒸馏——不仅对齐到单一奖励模型，而是对齐到整个奖励模型族，该族大概率包含真实偏好分布的合理近似。保持DPO的监督学习范式，同时解决其核心不稳定性。