Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization

一句话直觉

如果“什么是坏回答”比“什么是好回答”更可靠，就先学习避开坏分布，再用自身生成维持能力。

要解决什么，怎样做

D²O研究只依赖人工负样本的对齐。它扩大不偏好回答与模型生成的非负回答之间的分布差异，以自生成回答作为锚点，缓解直接压低负样本导致的退化。这里的“非负”是相对于明确的人工负例而言，不意味着生成的锚点已被逐条证明完美。作者从分布偏好建模角度连接这种目标与实例级DPO。

和已有方法的区别

标准DPO要求可靠的正负配对；D²O减少对正样本标注的依赖，使用一组生成响应来提供参照。其distributional指分布层次，并不是分布式计算；清单中的中文译名应纠正。

阅读边界与局限

仅知道不喜欢什么，仍无法完全确定想要什么。锚点质量、负样本覆盖和能力保持决定实际效果；若负例只覆盖一种风格，模型可能学会表面规避而非改善内容。

自测

1. 为什么对所有负样本直接做梯度上升可能损伤通用能力？
2. 自生成锚点既有帮助又有风险，分别是什么？

小实验（自学设计）

在受控文本偏好任务中，只提供明确的低质量负例。比较单纯压低负例、带生成锚点的优化和完整正负对学习，检查负例规避、正常回答质量以及输出多样性。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已根据正式ACL记录补全标题，D²O应译为分布层面的不偏好优化。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #22

本文介绍了一种名为分布式偏好优化（D2O）的新型对齐方法，旨在仅使用负样本训练大型语言模型，使其更接近人类价值观。传统的对齐技术常常会受到噪声正样本的影响，这些样本可能包含微妙的毒性信息，导致模型无意中强化有害行为。为了解决这个问题，D2O 专注于人工标注的负样本，这些样本通常比偏好回答更容易识别且更可靠。研究人员证明，通过最大化不偏好回答与自生成的非负锚框之间的差异，模型可以有效地避开有害内容，而不会出现灾难性的遗忘。理论分析和实验表明，与标准偏好优化相比，D2O 具有更优异的训练稳定性和更快的收敛速度。最终，该方法通过一个稳健的分布式框架，成功地降低了模型的有害性，同时保持了高质量、有益的回答。