Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences

一句话直觉

想从没有群体标签的反馈中恢复不同人的偏好，三个候选项可能比两两比较提供本质不同的信息。

先理解问题

聚合偏好可能让多数人的观点掩盖少数群体。这里不只是标签噪声，而是标注者具有不同但稳定的偏好类型；如果数据没有用户身份，单次二元比较可能不足以辨认这种潜在异质性。

方法如何工作

论文提出EM-DPO：E步推断样本属于哪些潜在偏好类型，M步更新相应策略；随后用min-max regret准则聚合，关注各群体相对自身最优策略的损失。可识别性分析在已知特征的线性奖励模型及相关假设下，比较二元反馈与至少三个选项的反馈。

放回偏好对齐的地图

本论文的ternary是“在三个候选中作选择或提供排序”，不是TODO中的“甲胜、乙胜、平局”三类标签。两者都扩展二元反馈，却解决不同的信息缺失问题；不能因为名称相似就共用同一损失。

阅读边界

可识别性是给定数据生成假设下的统计性质，不是EM必然找到正确解的保证。真实群体数未知、表示不充分或偏好随上下文变化时，应重新检查假设与公平聚合准则。

概念对照（教学记法）

$$\text{三候选反馈}:\ \{y_1,y_2,y_3\}\ ;\qquad \text{带平局反馈}:\ \{y_1\succ y_2,\ y_2\succ y_1,\ y_1\sim y_2\}.$$

这是区分数据结构的教学记法，不是该论文的损失函数。

自测与动手

1. 三候选选择和二候选带平局，在观测数据结构上有哪些区别？
2. 即使模型能识别所有群体，为什么按人数加权平均仍可能损害少数群体？

**小实验（自学设计）：**构造两类用户的线性效用与匿名反馈，对比仅二元比较和三候选选择恢复潜在混合的误差；再比较平均奖励聚合与最小最大遗憾聚合的逐群体表现。

来源与阅读范围

论文原文。已对照全文第3节（EM与公平聚合）和第4节（可识别性假设）；这份笔记聚焦这些章节，并未独立复现实验。

**核验补充：**这里的ternary指三个候选项，不是胜/负/平标签。与旧版2405.15065同作者主题相关，但本条按题名完全匹配的2510.15716整理。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #25

基于人类反馈的强化学习（RLHF）已成为使大型语言模型与人类价值观相一致的核心方法，通常先通过偏好数据学习奖励模型，再利用强化学习更新模型。**近期的替代方法如直接偏好优化（DPO）通过直接在偏好上进行优化简化了该流程。然而，这两种方法通常假设标注者偏好均一且依赖二元比较，忽视了两个关键限制：人类评估者的多样性以及成对反馈的局限性。**本文针对这两个问题展开研究。首先，我们将RLHF中的偏好学习与计量经济学文献相结合，证明在有限用户数据和无限用户的情况下，二元比较不足以识别潜在用户偏好，而对三条及以上响应的（即使是不完整的）排序则能确保可识别性。其次，我们提出将异质偏好纳入对齐算法的方法。我们开发了一种基于期望最大化的DPO改进方法，用以发现潜在的标注者类型并相应地训练混合大型语言模型。随后，我们提出一种基于极小极大后悔公平性准则的聚合算法，以生成具有公平性能保障的单一生成策略。