一句话直觉
对齐既要学会“选谁”，也要保住“还会好好说话”；只追求把坏答案的概率压得很低，可能伤到共享的格式与表达能力。
问题与机制
SLIME 针对相对间隔目标无法保证 chosen 绝对似然的问题，提出无参考的三部分目标：锚定项最大化首选响应似然；稳定惩罚防止 rejected token 概率坍缩到零；双边际机制结合硬软约束塑造边界。保留好答案与控制坏答案的下降分别被显式处理，而不是全交给一个相对比值。
为什么稳定 rejected 也有意义
坏回答经常与好回答共享语法和常用 token，过度惩罚整个序列可能波及这些通用能力。这里的教学理解是“不要把对某个内容的拒绝扩散成表达能力损伤”，不是说应该生成低质量或有害答案。应回到目标各项的作用域，分清序列级和 token 级约束。
与 DPO 的关系
无参考减少了参考策略参与，但不意味着没有正则化：锚定、稳定与边际本身就在控制优化行为。比较 DPO 时，要确认是否使用相同数据、NLL 强度与长度处理，而不能把所有变化都归给 reference-free。
阅读边界
三项之间可能存在权衡，稳定项过强也可能妨碍拒绝真正差的输出。摘要支持稳定性改善的经验结论，具体边际值、消融以及概率下界的实现尚需正文核对，不能从文字描述直接补写训练公式。
自测
- 为什么压低 rejected 的共享 token 可能损伤好答案？
- 没有参考模型，为什么仍然可能有强正则化？
小实验（自学设计）
构造内容不同但格式相同的偏好对，分别移除锚定、稳定和双边际部件。除偏好准确率外测试格式有效率、共同 token 概率与 held-out 生成质量，以分辨各部分解决了哪一种失效。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #57
直接偏好优化方法已成为一种计算效率高的替代方案，用于通过人类反馈进行强化学习（RLHF）以对齐大型语言模型（LLMs）。最新的方法通过推导隐式奖励函数简化了对齐过程，但它们通常面临一个关键的目标不匹配问题：优化选择和拒绝响应之间的相对边际并不能保证所选响应的绝对可能性得以保留。这可能导致“遗忘”，即模型降低高质量输出的概率以满足边际约束，以及由于对拒绝序列的过度惩罚而导致的“格式崩溃”。在本研究中，我们引入了SLIME（稳定化似然隐式边际强制），这是一种无参考的对齐目标，旨在将偏好学习与生成质量解耦。SLIME包含三个方面的目标：（1）一个锚定项，用于最大化首选响应的可能性；（2）一个稳定惩罚，防止拒绝标记的概率降至零；（3）一个双边际机制，结合硬约束和软约束以实现精确的边界塑造。