wDPO: Winsorized Direct Preference Optimization for Robust LLM Alignment

一句话直觉

错误方向的标签与模糊标签不是同一种噪声，应分别校正方向和限制影响。

先理解问题

含噪偏好数据既可能把明显胜负反标，也可能本来就难分高下。若统一重加权，可能既没纠正方向错误，又过度放大高损失的模糊样本；需要区分噪声类型。

方法如何工作

wDPO使用DPO训练已有的隐式对数比margin识别异质噪声：对强不一致的hard noise作稀疏数据级校正；对模糊比较作梯度级soft winsorization，限制高损失尾部的极端影响。不依赖外部奖励模型，但依赖当前策略信号是否足够可靠。

放回偏好对齐的地图

这里w是winsorized而不是简单weighted，更不是Wasserstein DPO。winsorization强调对尾部影响的限制；与直接删除所有难例相比，它尝试保留部分信息并处理明显方向错误。

阅读边界

模型不熟悉的正确难例也可能看起来强不一致，自我校正会产生确认偏差。应检查校正比例、触发时机与训练初期可靠性，不能把高损失等同于错误标注。

自测与动手

1. 翻转一个标签与把其权重降到零，在可利用信息上有什么区别？
2. 为什么训练早期根据模型自身margin修标签，可能比后期更危险？

**小实验（自学设计）：**构造已知标签翻转和真实平局两种噪声，对比统一重加权、只校正、只winsorization及完整方法；分别统计误校正率、保留信息和独立安全/有用性表现。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

**核验补充：**纠正原清单：wDPO正式展开为Winsorized Direct Preference Optimization；不是Weighted，也不同于Wasserstein DPO（WDPO）。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #44

合肥工业大学与新加坡国立大学提出了wDPo (Winsorized Direct Preference Optimization)，通过分层winsorization策略针对不同类型噪声进行梯度和数据层面的干预，从而提升大语言模型在噪声偏好数据下的鲁棒性和对齐效果。

直接偏好优化（DPO）通过优化成对偏好来对齐大型语言模型，作为一种简单且可扩展的替代方案，已显示出显著的有效性，尤其是在强化学习从人类反馈（RLHF）方面。然而，在实际应用中，偏好数据往往是噪声的。现有的DPO稳健变体主要依赖于均匀的目标修改或全局重加权。尽管这些方法在一定程度上有效，但它们将噪声样本视为同质的不确定性来源，未能区分不同的噪声类型，从而导致次优的对齐稳健性。在本研究中，我们表明，稳健的偏好对齐受益于通过针对性干预来处理不同的噪声类型，而非均匀正则化。我们提出了加权直接偏好优化（wDPO），这是一种具有分层加权的稳健LLM对齐方法。具体而言，wDPO采用了一种无奖励的分层干预策略，仅利用在DPO训练期间已经可用的信号。它首先利用DPO对数比中的隐含边际来识别异质噪声模式，而不依赖于外部奖励模型。对于难以处理的噪声，wDPO通过稀疏地修正强不一致的偏好对进行数据级干预。对于模糊比较，它通过软加权在梯度级别进行干预，限制高损失尾部的极端损失，以防止弱信息样本主导梯度更新。