一句话直觉
胜者要提升多少、败者要压低多少，可以是两个独立旋钮，不必始终被同一个 log-sigmoid 权重绑在一起。
问题与机制
Linear Preference Optimization（LPO）针对 DPO 的过拟合与坍缩，结合三项设计：以绝对差损失替代 log-sigmoid，解耦优化动态；通过偏移约束与正则项维护 chosen 质量；通过梯度分离控制 rejected 抑制，使下降力度可以线性调节。重点是梯度控制的分工，而不是把全部对齐任务变成线性模型。
数学直觉（教学示意）
对标量残差 $d$，绝对值损失 $|d|$ 在非零处的导数只有符号，而光滑 logistic 损失的权重随间隔变化。这只是理解目标形状的示例，并非论文 LPO 的完整公式。真正的目标还包括偏移、正则化和梯度操作，不能只写一个绝对值就声称复现。
与其他保似然方法的关系
SLIME 用多个目标项约束概率，RC 调整通用偏好目标的系数，LPO 则通过损失形状与梯度分离暴露更多控制。同样缓解似然下降，背后的干预位置可能不同。应将 chosen 保持、rejected 抑制和最终生成质量分别记录。
阅读边界
可调旋钮增加灵活性，也增加调参空间；跨文本、数学和 TTS 的摘要结果不意味着同一系数普适。绝对值在零点不光滑，实现需要核对使用的次梯度、平滑方式或框架约定。
自测
- 损失被称作 Linear，为什么不能推断语言模型训练是凸问题？
- 为什么需要同时报告 chosen 似然和 rejected 抑制，不能只看二者差值？
小实验（自学设计）
固定正则与数据，扫描 rejected 抑制系数，绘制 chosen 似然、rejected 似然及生成胜率。另用共享 token 较多和较少的偏好对分组，观察解耦是否在冲突更强的数据上更有用。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #58
DPO（Direct Preference Optimization）因其简便性和训练稳定性，已成为广泛使用的离线偏好优化算法。然而，DPO易出现过拟合和崩溃现象。为解决这些问题，我们提出了线性偏好优化（LPO），这是一种具有三项关键创新的全新对齐框架。首先，我们通过用绝对差损失替代log-sigmoid函数，实现了梯度解耦，从而隔离了优化动态。其次，我们通过偏移约束结合正则化项提升了稳定性，以保持所选响应的质量。第三，我们采用梯度分离实现了可控的拒绝抑制，配合简便的估计方法和可调节系数，线性调控拒绝概率的下降。