Robust LLM Alignment via Distributionally Robust Direct Preference Optimization

一句话直觉

把训练偏好分布附近最不利的变化也纳入优化，减轻静态数据与真实用户的分布错配。

先理解问题

标准DPO在经验偏好分布上最小化平均损失；如果部署用户的语言、地域或偏好构成变化，经验表现良好的策略可能失效。这是分布变化问题，不只是少量标签被翻转。

方法如何工作

论文提出Wasserstein DPO与KL DPO，用不同距离定义经验分布周围的不确定性集合，再优化集合内最坏损失。Wasserstein侧重样本空间几何变化，KL约束侧重概率权重偏移；作者同时研究样本复杂度并为minimax目标构造可扩展近似算法。

放回偏好对齐的地图

与wDPO的winsorization不同，WDPO中的W指Wasserstein。一个通过分布不确定集定义鲁棒目标，一个针对异质噪声限制或修正样本影响，缩写接近却不是同一方法。

阅读边界

鲁棒性只对所选不确定集中的变化有意义，距离度量与半径决定保护什么、牺牲什么。过大的集合可能过于保守，也无法自动保护训练数据完全未覆盖的偏好。

分布鲁棒目标（教学示意）

$$\min_\theta\ \sup_{P\in\mathcal U(\widehat P)}\ \mathbb E_{z\sim P}\bigl[\ell_{\mathrm{DPO}}(\theta;z)\bigr].$$

这是通用DRO结构示意；WDPO和KLDPO以不同距离定义不确定集$\mathcal U$，实现中的对偶、近似与参数以论文为准。

自测与动手

1. 为什么KL重加权的不确定集可能无法表达全新输入区域？
2. 增大鲁棒半径时，平均表现与最坏群体表现可能怎样权衡？

**小实验（自学设计）：**在两个偏好群体的混合数据中改变测试群体比例，对比普通DPO、WDPO/KLDPO及简单重采样；扫描半径并绘制平均性能和最差群体性能，避免只展示最有利设置。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

**核验补充：**primary来源为NeurIPS 2025论文页面PDF；核对题名、摘要及方法名称WDPO/KLDPO。原清单称DR-DPO，仅视为描述性简称。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #29

这篇研究论文提出了一种名为分布稳健直接偏好优化（DR-DPO）的新框架，旨在解决大型语言模型在对齐过程中面临的分布偏移挑战。作者指出，传统的对齐算法由于依赖静态数据集，在面对不同地域、文化或偏好演变时往往表现欠佳，甚至会出现模型崩溃。为此，研究团队开发了基于 Wasserstein 距离和 KL 散度的两种新型算法（WDPO 和 KLDPO），通过解决极大极小优化问题来提升模型的鲁棒性。

---

对齐论文表 #36

提出分布鲁棒DPO，解决偏好数据分布偏移导致的RLHF失效问题。核心方法：(1)WDPO——用Wasserstein距离定义经验偏好分布周围的不确定性球，在该球上做minimax优化，确保策略对分布几何偏移鲁棒；(2)KLDPO——用KL散度定义不确定性集，从信息论角度约束分布偏移；(3)分析两种方法的样本复杂度，开发可扩展的梯度下降近似算法。确保模型在地理、人口、文化等偏好差异下仍表现良好。