Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game

一句话直觉

策略更新后会生成新的回答分布，奖励模型也应跟着适应，而不一直停留在旧标注数据上。

要解决什么，怎样做

APO让语言模型与奖励模型交替更新，形成一个最小最大博弈。奖励模型利用参考回答和当前策略生成内容学习区分，策略则朝更高评分优化。动机是持续对齐会拉大策略样本与原人工标注之间的分布差距，若完全依赖再次人工标注，成本很高，因此尝试通过对抗训练让评分器随生成分布变化。

和已有方法的区别

普通固定奖励的RLHF把评分器当成不变环境；APO把它也放进学习循环。这里APO是Adversarial Preference Optimization，和CLAIR论文的Anchored Preference Optimization同缩写但不同方法，阅读与引用必须写全名。

阅读边界与局限

交替训练可能不稳定，奖励模型也可能学到来源而非质量。无需额外人工标签不代表没有任何先验或参考数据；也不能仅凭内部奖励上涨判断对齐质量。

自测

1. 固定奖励模型为什么容易在策略不断更新后失效？
2. 如果奖励模型只会识别“是不是当前模型写的”，博弈会发生什么？

小实验（自学设计）

构造生成器、二分类评分器和固定高质量参考池的小型闭环。对比固定评分器与交替更新，用独立人工规则评估内容质量，并测试去掉来源风格线索后收益是否仍存在。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发2023，正式为ACL 2024 Findings；已按原文补全标题。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #25

这篇研究论文提出了一种名为对抗性偏好优化（APO）的新框架，旨在提升大语言模型与人类价值观的对齐效率。传统的对齐方法往往受限于模型生成分布与人工标注数据之间的分布偏移，导致模型优化效果不佳且需要耗费大量人力进行重复标注。APO框架通过让奖励模型（RM）与语言模型（LLM）进行博弈来解决这一挑战，其中奖励模型学习区分模型输出与高质量参考答案，而语言模型则努力获取更高评分。实验结果表明，该方法在不增加额外人工标注的情况下，显著增强了模型在助手能力与安全性方面的表现。这一创新通过对抗性学习实现模型的自我提升，为开发更高效、更自主的人类偏好对齐技术提供了重要参考。