一句话直觉
评价一个答案时看过另一个答案，往往更能发现不足；成对数据里的比较上下文不一定只能用来产生一个胜负标签。
问题与机制
InSPO（Intrinsic Self-reflective Preference Optimization）指出两个建模问题：最优策略可能依赖标量化与参考策略等选择；若独立看待响应生成，比较信息没有充分进入策略。作者推导条件于上下文与备选响应的最优策略，并讨论对标量化函数与参考选择的不变性，作为无需架构修改或额外推理开销的增强。“自反思”在这里首先是比较条件化的形式化机制，不是对模型主观体验的判断。
与 DPO 的关系
DPO 用一对答案构成训练损失，而生成时通常只条件于提示。InSPO 追问能否把备选答案提供的结构纳入最优策略推导。阅读时要明确训练中哪些量可见、实际推理时如何消除或处理备选依赖，这关系到“不增加推理开销”的具体实现。
阅读边界
摘要所说的全局最优与优于 DPO/RLHF，是特定数学建模下的结论，不等于任意非凸神经网络训练都全局收敛。标量化不变性也不意味着无需指定希望对齐什么偏好；它解决的是表达方式的依赖，不是消除人类价值取舍。
自测
- 成对样本被用于损失，与备选响应被用于条件策略，有什么区别？
- 对标量化不变，为什么仍需要偏好数据或目标？
小实验（自学设计）
选用结构相似、局部改写的偏好对与内容完全不同的偏好对，比较标准 DPO 和比较信息增强方法。固定数据与参数规模，观察方法是否更擅长利用“具体哪里被改好”的信息，并独立核对推理调用次数。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #59
直接偏好优化（Direct Preference Optimization，DPO）及其变体因其简便性和离线稳定性，已成为大规模语言模型对齐的标准方法。然而，我们发现其存在两个根本性限制。首先，最优策略依赖于任意的建模选择（标量化函数、参考策略），导致行为反映的是参数化的伪影而非真实偏好。其次，将响应生成孤立处理，未能利用成对数据中的比较信息，未能激发模型内在的自我反思能力。为此，我们提出了内在自我反思偏好优化（Intrinsic Self-reflective Preference Optimization），**推导出一个基于上下文及备选响应的全局最优策略。**我们证明该方法优于DPO和基于强化学习的人类反馈（RLHF），且保证对标量化函数和参考策略选择的不变性。作为一种即插即用的增强方法，无需架构改动或推理开销。