Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains

一句话直觉

“好多少”的评分差距，比只有“谁更好”提供更丰富的监督。

先理解问题

一对回答几乎相同和一对质量悬殊，都可得到相同的二元胜负标签。只看标签时，chosen概率下降究竟是坏现象还是相对重分配，解释也不总清晰；额外的质量差距可以提供标尺。

方法如何工作

论文设计利用rating gap的直接偏好优化算法，在评分差距准确时得到更快的统计速率，并分析差距不准确时的鲁棒性。学习时把“谁胜”的方向信息和“胜多少”的幅度信息分开；引入幅度后，也要问不同标注者或不同提示的尺度是否可比。

放回偏好对齐的地图

与MaPPO利用先验奖励知识不同，这里专门研究反馈中的评分差距及其统计价值；与单纯按当前策略margin选样本不同，rating gap来自额外反馈，不等同于模型自己的隐式奖励差。

阅读边界

更快速率有模型和反馈精度条件，不能推成任何主观评分都优于二元标注。真实评分易受标注尺度、长度和任务难度影响，应检查误差模型是否覆盖系统偏置。

两种间隔（教学记法）

$$\Delta r_{\rm rating}\neq\beta\!\left[\log\frac{\pi_\theta(y_+\mid x)}{\pi_{\rm ref}(y_+\mid x)}-\log\frac{\pi_\theta(y_-\mid x)}{\pi_{\rm ref}(y_-\mid x)}\right]\quad\text{<span class="bd-box"><h-char class="bd bd-end"><h-inner>（</h-inner></h-char></span>通常不能直接等同<span class="bd-box"><h-char class="bd bd-beg"><h-inner>）</h-inner></h-char></span>}.$$

左边来自额外评分反馈，右边是模型诱导的隐式margin；两者来源不同。

自测与动手

1. 为什么人的评分差距与当前DPO隐式margin不能互换使用？
2. 随机评分误差与系统性偏大的评分差距，对训练可能产生哪些不同影响？

**小实验（自学设计）：**在可控真实奖励任务中生成二元偏好及评分差距，分别注入随机噪声和尺度偏差；比较DPO与评分增强目标的样本效率、校准和最终效用，绘制随误差增长的退化曲线。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #40

直接偏好优化（DPO）算法类已成为解决基础模型对齐问题的一种有前景的方法。这些算法在仅有有限反馈的情况下，通过成对偏好的形式进行工作，并对模型进行微调，以使其与这些偏好对齐，而无需明确学习奖励模型。尽管这些算法所使用的反馈形式使数据收集过程变得简单且相对准确，但其在响应质量方面的模糊性可能会产生负面影响。例如，在执行这些算法的过程中，偏好（不偏好）响应的可能性下降（上升）是否可以被解读为积极或消极现象并不明确。**本文研究如何设计能够利用额外信息（如评分差距）的算法，该信息告知学习者所选响应比被拒绝响应好多少。**我们提出的新算法在准确的评分差距信息存在时，可以实现比DPO更快的统计速率。