Primal-Dual Direct Preference Optimization for Constrained LLM Alignment

一句话直觉

“尽量有帮助，同时风险不能超过预算”比“把帮助和风险随便加权求和”更贴近一些部署目标。

问题与机制

该方法先在奖励偏好数据上用标准 DPO 训练模型以提供奖励信息，再用重排的拉格朗日 DPO 目标，在成本偏好数据上微调。原始变量是输出策略，对偶变量控制成本约束的压力。成本阈值是目标的一部分，而不是训练后再随意观察的指标。论文同时分析次优性与约束违反，并用探索奖励扩展到在线数据设置。

数学直觉（教学示意）

典型约束写作 $\max_\pi\mathbb{E}_\pi[r]$，满足 $\mathbb{E}_\pi[c]\leq\kappa$。对应拉格朗日形式可写成 $\mathbb{E}_\pi[r]-\lambda(\mathbb{E}_\pi[c]-\kappa)$，其中 $\lambda\geq0$。这用于理解奖励、成本、预算与对偶变量，具体 DPO 重排目标应查原文。

与固定权重多目标的区别

固定惩罚权重需要人为猜测风险价格；原始—对偶方法让约束反馈参与调整。满足训练分布的期望成本不等于逐条回答都安全，也不保证部署分布发生变化后仍达标。

阅读边界

理论保证依赖数据覆盖、偏好模型和优化条件；在线探索缓解覆盖限制也有额外查询成本。成本偏好本身可能有噪声，不能因框架包含约束就视其为真实风险量。该 arXiv 编号可用于识别清单中相近标题版本，避免重复统计。

自测

1. 约束预算与固定惩罚系数，分别代表什么？
2. 为什么平均成本低仍可能存在少量严重失败？

小实验（自学设计）

用奖励与成本可控的小离散策略，扫描多个成本阈值，记录实际成本、奖励和对偶变量。比较固定惩罚与动态对偶更新，再在成本数据错标或测试分布偏移时复测约束违反，检查保证边界。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #74

大型语言模型（LLMs）的广泛应用对安全性提出了越来越高的要求，例如减少有害内容和虚假信息，避免因规则和法律限制而出现某些禁用token。尽管近期已有多项研究关注LLMs的安全对齐问题，但这些工作要么需要训练奖励模型和成本模型，导致较高的内存和计算开销，要么需要关于最优解的先验知识。基于此，我们**研究了LLMs中的约束对齐问题，即在限制潜在不安全内容导致的成本低于阈值的前提下，最大化输出的奖励。针对该问题，我们提出了一种新颖的原始-对偶DPO方法，首先利用标准DPO在奖励偏好数据上训练模型以提供奖励信息，然后采用重新排列的拉格朗日DPO目标，利用所提供的奖励信息在成本偏好数据上微调LLMs。**该方法显著降低了内存和计算成本，且不依赖额外的先验知识。此外，我们对输出策略的次优性和约束违规性建立了严格的理论保证。我们还将该方法扩展至在线数据环境，通过引入探索奖励，使方法能够探索未覆盖的提示-响应空间，并给出消除对偏好数据覆盖依赖的理论结果。在广泛使用的偏好数据集PKU-SafeRLHF上的实验结果验证了我们方法的有效性。

---

对齐论文表 #33

提出可证明收敛的原始-对偶DPO方法，解决带安全约束的LLM对齐问题。两阶段流程：(1)第一阶段——用标准DPO在奖励偏好数据上训练模型，为第二阶段提供奖励信息；(2)第二阶段——采用重排的拉格朗日DPO目标进行约束微调，交替更新LLM策略（拉格朗日最大化奖励）和对偶变量（对偶下降满足成本约束）。显著优势：只需训练两个模型（vs此前三个），无需先验最优解知识，并提供严格的次优性和约束违反理论界限，可扩展支持在线探索。