Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap

一句话直觉

用模型仍难区分的偏好对集中训练，可提升数据效率，但要避免把难例等同于干净信息。

先理解问题

全部偏好样本都训练会浪费预算在已能轻松区分的对上。DPO隐式奖励差反映当前模型相对参考策略对chosen和rejected的区分程度，因此可以作为模型相关的难度信号。

方法如何工作

论文基于DPO隐式奖励机制选择较小gap的样本，聚焦更具挑战性的比较，以较少数据进行对齐。关键在于gap由所选模型与参考策略共同决定，和外部人类评分差距并不是同一概念；换模型或训练阶段后难度排序可能改变。

放回偏好对齐的地图

它与MixDPO构成适合一起学习的对照：本工作强调小gap样本的选择价值，MixDPO提醒困难对的最佳损失可能是SFT。判断应看数据、难度定义与训练目标，不能把一篇结果概括成“只选越难越好”。

阅读边界

小gap中既有可学边界，也有噪声、平局和模型能力不足。应检查选择是一次性还是动态、是否使用额外已训练模型，以及成本和标签质量是否被控制。

自测与动手

1. 如果某对人类偏好非常清楚，但当前模型gap很小，这说明的是标签不清还是模型不懂？
2. 选择小gap时，如何识别大量真正平局或错误标注混入的风险？

**小实验（自学设计）：**在相同子集规模下比较随机、最小gap、最大gap和按gap分层抽样；标注一个小审计集区分干净难例/平局/翻转，并报告各类占比和最终质量。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #41

尽管强化学习与人类反馈（RLHF）和直接偏好优化（DPO）等方法被广泛应用，但它们通常依赖于庞大且成本高昂的偏好数据集。目前的研究缺乏针对偏好数据的高质量数据选择方法。本文提出了一种**基于难度的新颖偏好数据选择策略，该策略基于DPO的隐式奖励机制。通过选择具有较小DPO隐式奖励差距的偏好数据样本，这些样本代表更具挑战性的案例，我们提升了数据效率和模型对齐效果。**该方法在多个数据集和对齐任务中持续优于五个强基线，且仅用原始数据的10%即实现了更优性能。