Larger or Smaller Reward Margins to Select Preferences for LLM Alignment?

一句话直觉

最值得学的偏好对，是外部目标有明显差距、但当前模型还没拉开这个差距的样本。

要解决什么，怎样做

论文指出只按显式奖励间隔或隐式DPO间隔选数据，可能得到互相矛盾的排序。提出alignment potential，把目标显式间隔与当前隐式间隔之间的落差作为学习潜力。理解时先固定一对回答：显式差告诉我们希望区分多强，隐式差告诉我们现在已区分多强，两者的缺口才描述剩余改进空间。

和已有方法的区别

它把“大间隔还是小间隔好”的问题改成“哪一种间隔、相对于什么模型状态”。和固定一次的数据筛选不同，这种度量还能用于自博弈生成的数据，因此数据价值会随策略变化。

阅读边界与局限

两个奖励来源的尺度和准确性非常重要。若外部奖励把长度当质量，潜力指标也会继承该偏差。摘要中的跨模型表现不能替代在自己数据上的标定与消融。

自测

1. 举一例，使显式间隔大、但学习潜力很小。
2. 模型训练后重新计算隐式间隔，数据排序为什么可能改变？

小实验（自学设计）

给同一候选池计算显式与隐式间隔，分成高高、高低、低高、低低四组。用相同数据量分别训练，比较独立指标增益，再打乱外部奖励检查指标对噪声的敏感性。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #13

本文研究了不同奖励幅度对大型语言模型（LLM）对齐过程中偏好学习的影响。研究表明，基于较大或较小奖励幅度选择数据会显著影响对齐过程。研究强调，优化奖励幅度选择能够提高偏好学习的有效性，从而获得对齐效果更好的LLM。