Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment

一句话直觉

用当前策略附近的悲观锚点评估一对偏好有多脆弱，再决定该给它多大权重。

先理解问题

固定参考策略随着训练推进可能与当前策略越来越不匹配；完全无参考又可能让奖励不受控漂移。面对噪声标签，需要既随模型状态变化、又能识别局部不稳定性的参照。

方法如何工作

GAPO把动态几何锚定义为当前策略小邻域内的对抗扰动，作为悲观基线；用策略与锚的奖励差，即Anchor Gap，估计偏好关系对局部扰动的敏感性，再对逻辑偏好目标重加权。局部易被破坏的样本被降低影响，较稳健信号得到强调。

放回偏好对齐的地图

与全局固定KL锚不同，锚随当前策略移动；与分布鲁棒DPO在数据分布不确定集上取最坏情况不同，这里的几何邻域围绕当前策略。两种“鲁棒”所针对的扰动空间不同。

阅读边界

小半径与光滑性条件使Anchor Gap具有相应近似解释，不能把它当作真实标注是否正确的判定器。稀有但正确的难例也可能几何脆弱，应检查是否被系统降权。

自测与动手

1. 局部敏感度高，为什么既可能表示标签噪声，也可能表示真实边界样本？
2. 如果邻域半径很大，局部margin退化的近似解释可能怎样失效？

**小实验（自学设计）：**向数据注入已知翻转标签，同时保留一组干净困难样本，比较GAPO对两组的权重分布；扫描锚半径并测真实验证质量，检验降权是否只针对噪声。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #39

直接偏好优化（DPO）及相关方法通过对固定参考策略的更新进行正则化，从成对偏好中对大型语言模型进行对齐。然而，**随着策略的漂移，静态参考可能会变得越来越不准确，导致分布不匹配，并在噪声监督下放大虚假偏好信号。相反，无参考变体避免了不匹配，但往往会遭受不受限的奖励漂移。**我们提出了几何锚偏好优化（GAPO），**它用动态的、具有几何意识的锚点替代固定参考：在小半径内对当前策略进行的对抗性局部扰动，作为悲观基线。这个锚点使得自适应重加权机制成为可能，根据每对偏好的局部敏感性调节其重要性。**我们进一步引入了锚差，即策略与其锚点之间的奖励差异，并在平滑条件下证明它近似于最坏情况下的局部边际退化。通过优化一个加权的逻辑目标，该目标根据锚差降低几何脆弱实例的权重，同时强调稳健的偏好信号。