Preference Optimization by Estimating the Ratio of the Data Distribution

一句话直觉

偏好对齐可以看作目标策略比率的匹配；换一种Bregman目标，仍可能保留同一个理想策略。

要解决什么，怎样做

论文提出Bregman Preference Optimization，从似然比估计角度推广DPO。其动机是策略分布可通过相应比率识别，不必显式训练奖励模型或估计配分函数；框架包含DPO作为特例，并讨论可计算目标及梯度缩放。

教学记号可写成$r_\theta(y|x)=\pi_\theta(y|x)/\pi_{ref}(y|x)$。要进一步写出论文损失，仍需核对目标比率、采样分布和散度方向，不能把通用Bregman定义直接当成可训练实现。

和已有方法的区别

与只任意替换DPO外层损失不同，该框架关注比率匹配与目标策略最优性的关系。这里BPO指Bregman，和另一篇Balanced Preference Optimization不同；两者都可改DPO，但理论动机完全不同。

阅读边界与局限

在理想函数空间共享最优点，不等于有限模型、有限样本和固定训练预算下结果相同。实际比较应同时看偏好质量和熵或覆盖，避免只提升胜率却隐藏模式坍缩。

自测

1. 为什么相同理想最优策略仍可能对应不同训练动态？
2. 比率中的参考策略概率接近零，会带来什么问题？

小实验（自学设计）

先在有限响应集合上指定参考分布和目标分布，验证不同比率匹配目标的理想最优点，再限制参数自由度和样本数。比较训练速度、分布误差与熵，观察理论最优与实际优化的区别。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验原文摘要与NeurIPS 2025正式记录；不与Balanced BPO混淆。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。