Distributionally Robust Listwise Preference Optimization

一句话直觉

一份答案排名可能有几处不确定；把整份排名当铁定真值，会比承认排名附近存在扰动更脆弱。

问题与机制

论文研究候选列表给定时的排名标签不确定性，提出逐点 total-variation 鲁棒的 Plackett–Luce 目标。鲁棒损失可分解为名义 PL 损失与最坏情况修正；最坏排名通过将当前隐式得分升序排列得到。内层不需要枚举全部排名，可由排序计算，使处理复杂度从排列枚举转为 $O(K\log K)$。

与 pairwise 鲁棒化的区别

这里鲁棒的是“这份列表的标签排名”，而非只给一个偏好对降权，或把整个数据集放进同一个分布不确定性集合。原文区分离线固定列表与在线策略生成列表：后者候选也受当前策略影响，因此其优化性质与证明目标不同。

阅读边界

摘要描述离线目标凸性及在线弱凸、平稳性结果。这些形式化性质不能直接推广成任意 LLM 参数训练的全局凸性；需要检查证明在哪个变量和可行域上成立。近似平稳点也不等于获得最优人类偏好。鲁棒半径过大可能牺牲干净数据效率。

自测

1. 为什么“固定候选列表”与“模型在线产生候选列表”会改变优化分析？
2. 最坏排名可通过排序得到，解决的是内层组合搜索还是整个神经网络优化？

小实验（自学设计）

在五候选列表中注入相邻交换、随机翻转和近似平局，比较名义 PL 与鲁棒修正。小规模时穷举验证最坏排序，再增大候选数量测运行时间；同时扫描鲁棒半径，观察干净表现与噪声耐受的权衡。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #65

**提出基于Plackett-Luce的分布鲁棒列表级偏好优化方法，处理排名标签不确定性。**与标准DPO仅用成对比较不同，该方法利用完整排名信息进行偏好学习，同时提供离线和在线优化的理论保证。核心创新在于通过分布鲁棒优化处理奖励模型噪声和标注不一致问题，缓解偏好优化中的过度自信偏差。将列表级偏好学习从确定性扩展至鲁棒框架。