Less is More: Improving LLM Alignment via Preference Data Selection

一句话直觉

偏好对更多并不一定更好，关键是筛掉会相互抵消训练方向的噪声，并保留当前模型能学到的差异。

要解决什么，怎样做

论文从噪声导致参数收缩的问题出发，提出基于间隔的偏好数据筛选。早期摘要强调同时考虑外部奖励间隔与DPO隐式奖励间隔；后续会议稿进一步使用贝叶斯聚合来综合多个间隔来源。两者都提醒：外部裁判认为差异大，和模型自己还没学会区分，是不同信号，数据价值应联合判断。

和已有方法的区别

它保留DPO训练框架，主要改变数据选取，而不是增加更大的策略模型。相比只按一个奖励模型排序，综合来源可以降低对单个打分器噪声的依赖；与主动标注相比，这里也可直接用于已标注池的筛选。

阅读边界与局限

选小子集时必须控制训练步数和重复次数，否则可能把更高的样本复用率当成数据质量提升。还要检查筛选是否只保留主流风格，损失少数偏好的覆盖。

自测

1. 为什么外部奖励差大但隐式差也大的一对，新增学习价值可能较低？
2. 小数据集更好时，如何排除训练预算差异？

小实验（自学设计）

固定偏好池，对比随机、单间隔、双信号筛选。分别做等样本量与等优化步数两组实验，同时评估主任务、稀有主题和长度分布，检查效率收益是否伴随覆盖损失。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验2025预印本摘要；会议修订稿使用Bayesian Aggregation术语，方法细节应按所复现版本固定。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #12

该论文主要探讨通过改进数据选择策略来优化大语言模型的偏好对齐，提出了一种基于DPO的改进方法，并在多个模型上进行了实验验证。