Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment

一句话直觉

偏好对如果只改关键缺点，监督更清楚；优化目标也应明确决定赢家和输家各自怎样移动。

要解决什么，怎样做

CLAIR通过AI对回答进行最小修改，生成更有对比性的偏好对；APO则为模型与数据之间不同关系设计可控的锚定优化目标。论文把数据的不明确和目标的不明确一同研究：两份回答若在内容、长度、格式等多处不同，模型很难知道标签究竟奖励哪一点。

和已有方法的区别

与从两个独立生成回答中直接选赢家相比，最小修订能更集中地表达因果上可解释的改进方向。APO也不应简单理解为“再加一个KL项”，它关注chosen/rejected的绝对变化关系；具体变体应按正文核对。

阅读边界与局限

最小改写仍可能引入裁判偏好或遗漏其他缺陷；锚定策略需要知道样本相对于当前模型的质量关系。这里APO指Anchored，与另一篇Adversarial Preference Optimization不同。

自测

1. 两个回答同时在长度、事实和语气上不同，会给训练造成什么歧义？
2. 如果chosen也比当前模型输出差，是否仍应无条件提高它的概率？

小实验（自学设计）

对一批回答分别构造独立重写和只修正一个错误的偏好对，控制标注数量与响应长度。用相同模型训练，测目标缺陷改善和无关内容保留，再检查chosen与rejected的绝对似然变化。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发2024，正式为TACL 2025；已补全副标题。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #44

提出CLAIR和APO，从数据和目标两方面解决对齐中的不明确性问题。两部分：(1)CLAIR(对比AI修订)——用辅助AI系统对解决方案进行最小化修改，创建更具对比性的偏好对，增强学习信号的区分度；(2)APO(锚定偏好优化)——在优化目标中引入锚定机制，约束模型在训练中不偏离参考策略太远，为训练者提供更多显式控制。两者联合：更好的数据（高对比度）+ 更稳定的目标（锚定），在Llama-3-8B-Instruct上用仅32K CLAIR对实现MixEval-Hard 7.65%提升。