RE-PO: Robust Enhanced Policy Optimization as a General Framework for LLM Alignment

一句话直觉

偏好数据不是绝对真值。先估计每条标签有多可信，再决定它应该给训练贡献多大梯度，类似先检查学生答案的可靠性再统计班级共识。

问题与机制

原清单使用 LCPO（Latent Collective Preference Optimization）名称；arXiv 当前 v4 改名为 RE-PO。两者对应同一编号，不应当作两篇论文。普通 DPO 把观测到的胜负标签直接代入损失，错标就会把更新方向带反。RE-PO 用期望最大化（EM）交替处理两个任务：根据当前模型推断标签正确的后验概率；再用这些可靠性信息重新加权偏好损失，更新策略。它进一步把偏好损失与概率模型联系起来，作为可套在 DPO、IPO、SimPO、CPO 上的鲁棒化框架。

与 DPO 的关系

改变的重点是监督信号的可信度，而不是凭空增加新偏好。理解 EM 时要分清“当前模型认为的正确概率”和“真实正确概率”。模型完全校准时可恢复真实噪声水平，这是有前提的理论结论，不能解释为实际训练必然找回所有错标。

阅读边界

多人分歧未必等于标注错误：有的用户确实更喜欢另一答案。若把少数真实偏好一律降权，鲁棒化也可能损伤个性化。继续读正文时应检查噪声生成假设、校准要求和初始模型是否会造成自我确认。

自测

1. 为什么“模型不同意标签”不足以证明标签错误？
2. EM 的 E 步与 M 步分别估计什么，哪个步骤会更新策略参数？

小实验（自学设计）

在同一份偏好数据中分别加入随机翻转与群体分歧，比较普通 DPO 和可靠性加权训练。保留独立人工核验集，同时记录权重与真实错标的相关性；如果群体分歧也被低权重处理，就不能仅凭平均胜率宣称解决了异质偏好。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #45

麻省理工学院、清华大学和理想汽车有限公司提出了 Robust Preference Optimization(RPO)方法，该方法通过期望最大化算法估计标签正确性的后验概率，动态调整训练损失中的数据权重，从而有效缓解人类偏好反馈中的噪声影响，实现对现有偏好对齐算法的鲁棒性提升。

基于人类偏好的标准对齐方法，如基于人类反馈的强化学习（RLHF），是将大型语言模型（LLMs）与人类价值观对齐的核心技术。然而，这些方法均基于一个关键但存在缺陷的假设：人类偏好是同质的（代表单一、统一的偏好），且收集的数据无噪声（无误差）。实际上，这两点均不成立，因为人类偏好是多元的，且标注者可能会出现错误。这导致记录的数据与真实偏好之间存在差异，可能误导模型并降低其性能。为应对这一挑战，我们提出了鲁棒偏好优化（RPO）。RPO采用期望最大化（EM）算法推断每个标签正确性的后验概率，并利用该概率自适应地重新加权训练损失中的每个数据点，以减轻噪声影响。我们进一步通过建立任意偏好损失与其对应概率模型之间的理论联系，对该方法进行了推广。此推广使得现有对齐算法能够系统地转化为其鲁棒版本，将RPO从特定算法提升为鲁棒偏好对齐的元框架。在理论上，我们证明了在模型完美校准的条件下，RPO能够保证收敛至数据集的真实噪声水平。实验结果表明，作为元框架的RPO在持续提升四种最先进对齐算法（DPO、IPO、SimPO和CPO）性能方面表现出色。

---

对齐论文表 #17

本文提出了一种名为潜在集体偏好优化（LCPO）的通用框架，旨在通过应对噪声和多元人类偏好带来的挑战，增强大型语言模型（LLM）对齐的鲁棒性。LCPO采用期望最大化（EM）算法从噪声数据中推断潜在集体共识，并利用推断出的标签正确概率自适应地调整训练损失中的数据点权重。理论分析证实，在完美校准的模型下，LCPO能够收敛到真实的噪声水平。实证结果表明，当应用于Mistral和Llama 3模型时，LCPO相比四种最先进的对齐方法均取得了显著的性能提升。