Beyond Pairwise: Empowering LLM Alignment With Ranked Choice Modeling

一句话直觉

“甲优于乙”是一种反馈，“五个答案中我的前三名是甲乙丙”包含更丰富的结构，训练目标应理解这份结构。

问题与机制

Ranked Choice Preference Optimization（RCPO）把偏好优化与选择模型连接起来，用最大似然学习排序或多项选择反馈。它支持基于效用和基于排序的模型，摘要给出的代表实例包括 Multinomial Logit 与 Mallows-RMJ。选择模型负责说明一个潜在偏好如何产生观测到的选择或排名，再把这个概率接到语言模型训练。DPO、SimPO 可在相应设定下作为其成对特例来理解。

与 pairwise 方法的差别

把一份排名拆成所有成对比较看似增加数据，却可能把相互依赖的证据当成独立样本。RCPO 的关键不是“比较次数更多”，而是直接对反馈形式写出概率。先问标注者实际提供的是完整排序、top-k 还是从集合里选一个，再选符合该过程的模型。

阅读边界

排序更丰富也可能更贵，候选质量接近时尤其难稳定标注。某种选择模型的假设不一定符合所有人类偏好；多维价值冲突也不自动等于同一维度上的排名。摘要展示具体 LLM 与评测的经验效果，不能推导“列表监督永远优于同预算成对监督”。

自测

1. 同一份三项排名拆成三对，为什么不能简单视作三个独立标注？
2. top-k 中未出现的候选是否必然互相具有已知排序？

小实验（自学设计）

在三到五候选的合成偏好数据上，比较整体排名似然与拆对损失，固定标注者查询次数。分别模拟随机失误和系统性违反选择模型假设的标注，查看优势究竟来自反馈量，还是来自正确的统计模型。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #48

新加坡国立大学商学院介绍了 Ranked Choice Preference Optimization (RCPO)框架，通过最大似然估计将偏好优化与排序选择建模结合，支持多种选择模型，实现对大语言模型的多级排序反馈的有效对齐训练。

大型语言模型（LLMs）的对齐主要依赖于成对偏好优化，即标注者从两个响应中选择更优者。尽管该方法简单，但忽视了从更丰富的人类反馈形式中学习的机会，如多项比较和前$k$名排序。我们提出了排序选择偏好优化（Ranked Choice Preference Optimization，RCPO），这是一种通过最大似然估计将偏好优化与（排序）选择建模相结合的统一框架。该框架具有灵活性，支持基于效用和基于排序的选择模型。它涵盖了若干现有的成对方法（如DPO、SimPO），同时为更丰富的反馈格式提供了有原则的训练目标。