Improving LLM Safety Alignment with Dual-Objective Optimization

一句话直觉

安全对齐要分别教模型“怎样拒绝”和“不要继续有害内容”，不能只扩大安全与有害回答的相对差距。

要解决什么，怎样做

DOOR从DPO的梯度分析出发，把安全优化分成稳健拒绝训练与有害知识的定向遗忘。前者训练模型即使看到部分不安全前缀也能转向拒绝，后者抑制有害内容的续写倾向。加权版本进一步突出关键拒绝token。这个分解有助于理解：降低坏回答概率和提高安全回答概率，是两个可以失衡的过程。

和已有方法的区别

普通DPO通过一对回答的相对差学习安全偏好；DOOR显式控制两个方向，并关注预填充、多轮等偏离标准单轮输入的情境。它也不把所有token视为同等重要。

阅读边界与局限

拒绝增强可能导致正常问题被误拒绝，遗忘目标也可能牵连通用能力。必须同时看攻击成功率、良性请求拒绝率与能力保持，不能只报告更高的拒绝比例。

自测

1. 模型已经续写了一小段不当内容，为什么仍需要拒绝训练？
2. 安全回答与有害回答的间隔增加，是否保证安全回答本身更可能出现？

小实验（自学设计）

在只包含无害替代场景的受控数据上，比较成对损失和分解损失。测试完整问题、带错误开头的前缀与正常问题，记录纠正率和误拒绝率，避免把“全部拒绝”误当成成功。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #6

本文提出了一种新型的大型语言模型（LLM）安全对齐方法，以增强其抵御越狱攻击的鲁棒性。该方法提出了双目标优化（DOOR-Alignment），将双目标优化（DPO）目标分解为两个组成部分：鲁棒的拒绝训练和针对性地遗忘有害知识。该方法通过增强对各种越狱攻击的抵抗力，显著提高了LLM的安全性，并引入了一种基于奖励的词元级加权机制，以突出关键的拒绝词元，从而进一步增强了其抵御对抗性攻击的鲁棒性。