一句话直觉
DPO 改善的是相对参考策略的优势，是否得到人类偏好的绝对排序还依赖条件。
从“比原来更偏向好答案”到“现在真的更喜欢好答案”，中间还有一段距离；参考模型原先的偏差可能影响这个差距。
问题与机制
这篇论文重新检查 DPO 与 RLHF 等价性的适用条件。作者指出，相关等价并非无条件成立：RLHF 最优策略需要偏好人类选中的响应。假设不满足时，DPO 可以继续减少损失，却在绝对概率上仍偏向不受欢迎的响应，因为它优化的是相对于参考策略的优势。论文描述了不理想解空间，并用带可能为负目标的软间隔排序给出几何解释。作者提出 Constrained Preference Optimization（CPO），通过加入约束来获得其形式化设置下的一致性。
学习时抓住的区别
设参考策略给好答案的概率本来非常低，即使好答案的相对提升较大，其最终概率也未必超过坏答案。这是理解论文动机的教学例子，并非正文反例的复刻。比较该工作与似然位移研究：前者追问目标与最优策略的关系，后者追问训练过程中 chosen/rejected 概率如何一起变化。
阅读边界
摘要中的“可证明对齐”依赖明确的偏好定义、模型类别与约束条件，不能扩大成现实价值观的全面保证。CPO 缩写在对齐领域被多个不同方法复用，阅读代码和引用时应核对全名，避免与其他 CPO 损失混为一谈。
自测
- 相对参考策略的对数比提高，为什么不能直接推出绝对概率排序正确？
- 一个约束能排除病态最优解，是否意味着有限样本非凸训练一定能找到好解？
小实验（自学设计）
建立只有两个候选的离散策略，把参考概率从轻微偏差逐步调到严重偏差。记录 DPO 损失、相对奖励间隔、最终绝对排序三项，再加入简单排序约束，检查三项指标何时一致、何时冲突。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #47
香港科技大学、光速投资与香港浸会大学介绍了Direct Preference Optimization (DPO) 与Reinforcement Learning from HumanFeedback (RLHF)在隐含假设条件下的等价性及其失效模式，提出了通过引入约束的Constrained Preference Optimization (CPO)方法以实现可证明的对齐。
直接偏好优化（DPO）已成为强化学习与人类反馈（RLHF）的一个流行替代方案，提供了理论上的等价性并且实现更为简单。我们证明这种等价性是有条件的而非普遍的，依赖于一个在实践中经常被违反的隐含假设：RLHF最优策略必须偏好人类偏好的响应。当这个假设失效时，DPO优化的是相对于参考策略的相对优势，而非与人类偏好的绝对一致性，从而导致病态收敛，即策略在减少DPO损失的同时偏好不受欢迎的响应。我们描述了何时该假设被违反，展示了一个不理想的解空间的存在，并证明在这种情况下DPO和RLHF优化的目标根本不同。为了解决这个问题，我们引入了约束偏好优化（CPO），通过约束增强RLHF以实现可证明的一致性。我们进一步通过软边际排序提供几何解释，揭示DPO实现了可能具有负目标的边际排序。我们的理论分析确立了DPO保证成立的条件，并提供了保持简单性且具有可证明一致性的解决方案。