一句话直觉
训练的胜负差距变大，不代表赢家概率在上涨；可能只是输家跌得更快，赢家也一起被压低。
问题与机制
论文给出统一的 incentive-score decomposition，说明多种偏好目标具有共同的局部更新方向，而标量权重不同。随后分析 chosen 与 rejected 的似然动态，提出解耦带（disentanglement band，DB）这一可检验条件，描述训练何时能够抑制输家同时保持赢家，允许存在初始过渡期。基于此，Reward Calibration（RC）自适应调整两类更新的平衡，使训练趋向更解耦的动力学。
一个教学示意
仅用来说明相对与绝对量的区别，设间隔为 $m=\log p_w-\log p_l$。即使 $\Delta\log p_w<0$，只要 rejected 下降更多，仍有 $\Delta m>0$。这不是论文 DB 的具体公式；它提示我们必须同时监测两条似然曲线，不能只记录 margin。
与重新设计损失的关系
RC 的目标是作为可插入的校准机制，覆盖多种基础目标，而不是为每一种损失再造独立替代品。它关注局部梯度几何与系数分工，因此适合和 LPO、SLIME 等直接改动目标结构的方法比较。
阅读边界
局部更新分析与实际多步训练之间还有学习率、共享参数和泛化差距。DB 是有条件的动力学诊断，不应解释为每一步所有 chosen 概率都必然单调上升。具体满足条件的估计成本，需要查看正文和实现。
自测
- margin 提升与 chosen 概率保持，为什么不是同一个指标？
- 同一更新方向只改标量系数，为什么仍可能改变最终训练轨迹？
小实验（自学设计）
对固定偏好集训练 DPO 与加 RC 的版本，每隔若干步记录 chosen/rejected 对数似然、margin 和梯度相似度。按初始质量分组，检查平均改善是否掩盖一部分赢家仍在下降的现象。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #56
偏好优化广泛用于将大型语言模型（LLMs）与人类偏好对齐。然而，许多基于边际的目标会抑制所选择的响应以及被拒绝的响应，这一现象被称为似然位移，目前没有通用机制能够在各个目标之间防止这种情况的发生。我们通过提出一个统一的偏好优化激励分数分解来填补这一空白，揭示了不同目标共享相同的局部更新方向，仅在其标量权重系数上存在差异。基于这一分解，通过分析所选择和被拒绝的似然动态，我们识别出解耦带（DB），这是一个简单且可测试的条件，表征了训练何时能够通过实现优选路径来避免似然位移：抑制失败者同时保持赢家，可能在初始瞬态之后。利用DB，我们提出了一种即插即用的奖励校准（RC），该方法自适应地重新平衡所选择与被拒绝的更新，以满足DB并减轻似然位移，而无需重新设计基础目标。实证结果表明，RC引导训练朝向更解耦的动态，通常在多种目标下改善下游性能。