AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates

一句话直觉

按每个偏好对的当前概率平衡正负更新，避免模型只学会压低坏答案。

先理解问题

DPO对log概率的正负系数具有对称形式，但换到概率本身或token级参数变化时，抑制rejected与提升chosen可能极不对称。因而“梯度一样大”必须说明是对哪个变量求导。

方法如何工作

AdaDPO从策略生成概率构造逐偏好对系数，并对系数停止梯度；参考概率可以作为可选信息。其设计试图平衡preferred与dispreferred概率的梯度幅度，实际实现落在逐token梯度平衡并配合数值裁剪，以控制极端概率导致的不稳定。

放回偏好对齐的地图

与Gate-DPO依据概率谷减弱拒绝项不同，AdaDPO从正负概率梯度平衡出发。与全局调整beta相比，它依赖每个样本当前状态，因此同一批次中的偏好对可能得到不同更新力度。

阅读边界

平衡梯度幅度不保证标签正确，也不保证所有任务最优；正确的强负项可能本来就需要更大惩罚。需检查stop-gradient放置、长度归一化、裁剪阈值与最终输出质量。

自测与动手

1. 对log概率的等幅导数，为什么不等于对概率本身的等幅导数？
2. 如果自适应系数没有停止梯度，训练目标会多出怎样的依赖？

**小实验（自学设计）：**用两个可控概率的偏好项，通过自动微分记录对概率、log概率与模型参数的三类梯度；再比较普通DPO和AdaDPO，验证所谓“平衡”究竟发生在哪个层级。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #24

AdaDPO——一种DPO算法的自适应变体，它引入基于策略模型生成概率的逐偏好对系数，这些系数通过停止梯度机制计算，并可选择性地结合参考模型的概率。AdaDPO的设计确保偏好与非偏好概率之间的梯度幅度相等；其实际实现平衡了逐token梯度并应用数值裁剪以保证稳定性，同时保留了DPO原有的超参数结构。