Explicit Preference Optimization: No Need for an Implicit Reward Model

一句话直觉

不一定要先把奖励藏进策略比率里；可以直接设计透明的偏好优化与正则化规则。

要解决什么，怎样做

EXPO分析DPO及相关重参数化目标的正则化与插值行为，指出这些设计可能在本来已好的提示上也改变策略。它从希望满足的正则性质出发建立显式偏好优化框架，而不依赖相同的隐式奖励重参数化。学习时可先问：哪些提示应该保持原策略，哪些提示应该向偏好方向移动，目标能否同时表达这两种需求？

和已有方法的区别

“Explicit”在这里不意味着必须训练一个独立的显式奖励大模型，而是偏好优化与正则因素被直接提出。它和DPO的区别是建模起点与目标性质，不能仅按是否使用监督式训练来区分。

阅读边界与局限

理论反例针对所定义的目标类别和假设，并非否定所有DPO实践收益。显式规则也仍需超参数与数据支持，应检查目标性质是否在实际有限数据训练中体现。

自测

1. 为什么同一个固定正则强度可能无法同时处理“已经很好”和“明显需修正”的提示？
2. 无隐式奖励重参数化是否等于无偏好信息？

小实验（自学设计）

构造两类提示：参考策略在一类上已符合目标，在另一类上偏差明显。比较统一正则目标与按需求设计的教学目标，分别记录好提示上的保持程度和坏提示上的改善。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验原题为Explicit Preference Optimization: No Need for an Implicit Reward Model。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #46

提出显式偏好优化(EXPO)，完全消除隐式奖励模型的需求。核心创新：(1)无重参数化——不使用DPO类方法的重参数化技巧从策略导出隐式奖励，避免由此产生的次优正则化和反直觉插值行为；(2)显式正则化——直接从第一原理设计直观的正则化因子，透明地控制策略优化行为；(3)可证明性质——EXPO可证明满足此前方法无法达到的正则化理想属性。从根本上避免了DPO变体中重参数化带来的潜在缺陷，同时保持简洁的训练范式。