Preference Ranking Optimization for Human Alignment

一句话直觉

一次采样得到多个排好序的回答，就把整份排序用起来，而不只抽取一对胜负。

要解决什么，怎样做

PRO把人类对多个候选的排名转化为模型概率排名的训练目标。它逐步把当前较优回答与剩余较差回答对比，让模型先优先选择第一名，再学习后续相对次序。这样同一提示下的多个响应贡献结构化监督，而不会被压缩成孤立成对标签。可以先手工写出三候选的排序，再观察每个位置提供了什么信息。

和已有方法的区别

与只模仿最佳回答的SFT相比，PRO还使用其他候选的相对质量；与成对DPO相比，它显式保留多候选的宏观次序。不过“列表信息更多”不意味着每一条局部排名都可靠。

阅读边界与局限

完整排序比简单二选一更难标注；相近回答的细微顺序可能只是噪声。复现时要核对候选数、排序来源和不同长度回答的处理，避免把候选预算优势误算成损失优势。

自测

1. 三个响应的完整排序，比只保留最好与最差多了什么信息？
2. 如果第二和第三名几乎相同，强迫确定顺序有什么风险？

小实验（自学设计）

固定每题四个候选，比较只用首名SFT、首尾成对学习和列表学习。分别交换中间两个候选的标签，测三种方法对这种局部排序噪声的敏感性及独立任务表现。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发2023；这里采用AAAI 2024会议年份。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #15

本文提出了一种高效的SFT算法——偏好排序优化（PRO），该算法旨在直接微调大型语言模型（LLM），以用于人工对齐。PRO扩展了成对对比算法，使其能够处理任意长度的偏好排序，从而允许模型优先选择最佳响应，并逐步对其余响应进行排序。该方法有效地将人工对齐任务转化为将n个响应的概率排序与人类偏好排序进行对齐，并在自动评估、基于奖励的评估和人工评估中均优于基线算法。