Small-Margin Preferences Still Matter-If You Train Them Right

一句话直觉

困难偏好对未必应该丢弃，但它们可能更适合提供正样本SFT信号。

先理解问题

小margin样本往往被当作噪声过滤，不过难与错不是同义词。两个质量接近的好回答仍含有用内容，只是强迫模型把二者拉开可能造成不稳定；信息价值与适用损失需要分开。

方法如何工作

MixDPO先按margin定义难度并安排从易到难的课程，再让较容易的对使用偏好损失，困难对转给SFT目标。它保留难例中的正向生成监督，同时减少在微弱胜负关系上施加强烈对比的风险。

放回偏好对齐的地图

这与“总是选最小间隔训练DPO”的数据策略形成有用对照。二者未必矛盾：间隔的定义、模型阶段、标签可靠性和目标函数不同，难例可以有信息但仍不适合用同一种损失。

阅读边界

路由阈值和难度估计依赖奖励或当前策略，可能把真正重要的边界样本过度转成SFT。应检查课程顺序与损失切换各自贡献，且以相同样本和token预算比较。

自测与动手

1. 为什么一个难以判断胜负的样本对，仍可能适合SFT？
2. 如果所有困难样本都用SFT，模型是否还能学会其中细微但真实的偏好差异？

**小实验（自学设计）：**固定小margin样本集合，分别丢弃、全部DPO、全部SFT和MixDPO；同时设置容易样本训练控制组，记录chosen似然、偏好准确率和独立质量，拆开数据保留与目标切换的收益。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #27

MixDPO,一种基于难度感知的训练策略，通过对偏好数据按难度排序并将难对分配给监督微调目标，从而有效利用小边距偏好对大语言模型进行优化。