Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts

一句话直觉

一次生成多份候选时，可以比较“好回答集合”和“差回答集合”，避免只抽一对而浪费监督。

要解决什么，怎样做

MPO把BT成对比较扩展到chosen集合与rejected集合之间的群组对比，并使用偏离平均奖励程度的权重突出信息量较强的候选。摘要给出随每题候选数增加而降低对齐偏差的理论分析。自学重点是区分集合分组、完整排序和独立成对采样：三者使用的信息结构与标注负担不相同。

和已有方法的区别

与列表法要求完整精确顺序不同，集合对比主要需要把候选划为较好与较差两组；与DPO只取首尾一对不同，它让中间候选也参与学习。这里“多偏好”首先指多候选反馈，不能自动理解为多种用户价值维度。

阅读边界与局限

分组仍可能出错，突出离群奖励也可能放大奖励模型的异常分数。理论的候选数量收益有统计与噪声假设，增加候选同时增加生成预算，应公平控制算力。

自测

1. 一个候选集合划成好坏两组，比完整排序少要求哪些标签？
2. 奖励异常值是真正高质量还是评分漏洞，如何区分？

小实验（自学设计）

固定每题八个候选，比较随机抽一对、首尾一对、全部跨组比较和集合目标。保持候选生成预算相同，再注入一个异常高分的低质量回答，测试偏差加权的鲁棒性。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验arXiv 2412.04628（2024首发、2025修订）；清单的ICLR 2026录用信息未据此确认，故不沿用。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #45

提出多偏好优化(MPO)，将DPO从成对对比推广到集合级对比。核心创新：(1)群组Bradley-Terry扩展——将传统成对偏好模型扩展为chosen响应集合vs rejected响应集合的群组比较，一次性利用on-policy生成的所有候选响应；(2)偏差加权——基于响应奖励偏离均值的程度进行加权，强调离群（最有信息量）响应，隐式诱导自步课程学习；(3)理论保证——对齐偏差以O(1/sqrt(n))速率降低（n为每query响应数）。高效利用多候选项的完整信息。