一句话直觉
先建立DPO研究的四维地图，再决定一篇变体究竟改了数据、学习、约束还是模型属性。
先理解问题
DPO变体很多，只记缩写很容易把不同问题混在一起：噪声鲁棒、生成多样性、参考约束、数据选择和多模态适配并不处于同一层。综述的价值在于给后续精读提供分类和比较坐标。
方法如何工作
这份综述把工作分为data strategy、learning framework、constraint mechanism与model property，并以标准化基准比较若干变体。学习时先回到基本链条：偏好标签如何生成，隐式奖励如何参数化，损失鼓励什么，如何限制偏移，最后用哪些指标判断输出。
放回偏好对齐的地图
它不是提出一个万能替代DPO的方法。应把本论文库的文章各放入主类别，再标注次类别：例如数据选择与几何锚定虽都能提升鲁棒性，前者改变训练分布，后者改变目标附近的参照。
阅读边界
综述有时间截面，后续论文不能假定已包含。标准化实验仍取决于骨干、SFT初始化、数据规模和评判器，不能把其中的排名直接推广到全部任务或模型。
自测与动手
- 加入SFT项、更新参考模型、筛选偏好对分别属于哪些维度？
- 比较两个DPO变体时，哪些训练条件必须一致才能解释算法差异？
**小实验（自学设计）：**选本库十篇论文，做四列表格：改变的环节、解决的失效模式、额外成本、评价指标。若两篇方法无法放进同一比较行，先解释它们的问题定义为何不同。
来源与阅读范围
论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。