Mind the Gap: Structure-Aware Consistency in Preference Learning

一句话直觉

好优化的代理损失，未必在受限模型类里就能保证好排序；语义距离可以进入一致性设计。

先理解问题

DPO优化平滑代理损失，而真正关心的是偏好排序错误。经典分类直觉并不自动适用于具体神经假设类；如果模型表达受限，代理风险减少与目标排序风险减少之间可能缺少有效联系。

方法如何工作

论文在相应等连续假设类下讨论标准代理的不一致，转向margin-shifted ranking并建立H-consistency界。SA-DPO进一步按回答的语义距离调整分离margin，使同义、近似和困难比较受到结构化处理；Margin-Capacity Profile用于分析容量限制与一致性权衡。

放回偏好对齐的地图

它关注统计一致性而非仅让训练曲线更平滑，也不是宣称所有DPO实践都无效。重尾代理优于logistic的理论比较依赖指定模型类与条件，必须连同这些条件阅读。

阅读边界

语义距离的估计本身可能有误，且“语义接近”不等于“质量相同”。阅读时应核对H-consistency的风险定义、分离条件与实际实现如何对应，避免把渐近保证当作有限预算性能保证。

自测与动手

1. 代理损失更低为什么可能没有更低的目标排序错误？
2. 两个回答只差一个关键事实，语义距离很近时应如何防止margin设计忽视真实质量差？

**小实验（自学设计）：**在容量受限的合成排序器中设置近义对和关键事实相反对，比较固定margin与语义自适应margin；同时测代理风险与真实排序风险，观察两者何时分离。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #41（第二个同号条目）

谷歌研究与库朗数学科学研究所提出了基于结构感知一致性的偏好学习方法SADPO，通过引入语义距离调节的边际移位排名框架，实现对大规模语言模型对齐过程中的一致性理论保证。流行的方法，如直接偏好优化（DPO），通过最小化代理损失作为不可处理的成对排名损失的代理。然而，我们证明，对于神经网络典型的等连续假设集，这些标准代理在理论上是不一致的，导致空洞的泛化保证。为了解决这个问题，我们在一个边际偏移排名框架内构建LLM对齐。我们推导出严格的$H$-一致性界限，这依赖于施加分离边际$γ$。关键是，我们将其扩展到结构感知$H$-一致性，提出了一种新目标（SA-DPO），该目标根据响应之间的语义距离调整边际，以处理同义词和困难对。最后，我们通过边际容量轮廓分析一致性与模型限制之间的权衡，证明重尾代理（如多项式铰链族）为容量受限模型提供了优于DPO中使用的标准逻辑损失的一致性保证。