Adversarial Preference Learning for Robust LLM Alignment

一句话直觉

防御模型要持续接触针对自身弱点的新变化，训练可以围绕“发现漏洞—反馈—修补”构成闭环。

要解决什么，怎样做

APL结合三部分：利用模型内在偏好概率形成有害性度量，使用条件生成攻击者产生与输入有关的对抗变化，再通过自动反馈迭代更新。与固定测试模板不同，攻击者随训练寻找新的薄弱点，防御策略据此适应。这里关注方法结构与评估，不需要把具体危险攻击内容带入自学练习。

和已有方法的区别

和静态安全偏好集相比，APL改变数据分布的产生方式；与固定外部安全分类器评分相比，它尝试利用内在概率反馈。它与RM—LLM博弈APO名称相似，但攻击者、反馈定义和目标不同。

阅读边界与局限

自动闭环可能共谋于错误信号：模型内在偏好并非无偏安全真值。降低内部有害分数后，仍要用独立安全评估和良性任务测实际效果，尤其注意误拒绝与攻击分布外泛化。

自测

1. 为什么训练过的攻击模板上表现好，不足以证明鲁棒？
2. 内在概率既做反馈又做唯一指标，会产生什么评估问题？

小实验（自学设计）

使用无害的格式遵循任务模拟攻击与防守：攻击器生成容易让模型漏掉指定字段的提示变化。比较固定模板和自适应闭环，用独立保留模板检查字段完整率与正常任务质量。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。正式发表于ACL 2025 Findings；笔记省略未逐表复核的具体数值。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #37

提出对抗偏好学习(APL)，通过迭代对抗训练提升LLM对齐鲁棒性。三大创新：(1)内在有害性度量——基于模型自身偏好概率直接评估有害性，无需外部分类器或人工评估；(2)条件生成式攻击者——生成针对特定输入的对抗变体，模拟更广泛多样的攻击场景；(3)自动闭环反馈——攻击者发现漏洞,模型缓解漏洞,重复迭代持续自适应强化。在Mistral-7B上无害胜率83.33%，有害输出从5.88%降至0.43%，HarmBench攻击成功率降低高达65%。