DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding

一句话直觉

两个答案平均满意度相同，一个让所有人基本满意，另一个让一部分人非常不满；只看均值会丢掉这种差别。

问题与机制

DARC 是无需重训的推理方法。它收集多个偏好样本或可扩展的分歧代理，把响应选择视为分布鲁棒、风险敏感决策，再以 KL 鲁棒的熵满意度目标重排候选。方法提供风险预算：限制或惩罚相对于均值的熵风险溢价。学习时先区分三样东西：每个候选的平均满意度、不同偏好主体间的分歧，以及部署时允许承担的风险；它们不是同一个超参数的不同名字。

与平均奖励排序的差别

普通 best-of-N 常按一个标量分数选择最高候选；DARC 关注偏好分布变化下的表现。它也不同于重新训练多目标策略：本工作主要改变候选选择规则，所以无法找回候选池中根本不存在的折中回答。

阅读边界

风险敏感不意味着没有价值取舍。分歧代理若不能代表真实群体，风险预算也可能约束错对象。对“熵”的理解应回到论文的风险目标，而不是把它误写成语言模型输出 token 熵。摘要支持噪声、异质反馈下尾部风险改善的实验趋势，具体预算应由使用场景决定。

自测

1. 平均奖励相同的两个候选，为何可能具有不同的风险排序？
2. 如果所有候选都牺牲同一群体，重排序还能解决问题吗？

小实验（自学设计）

给每个候选建立三组用户评分，比较均值排序、最差组排序与熵风险排序。逐渐收紧风险预算，画出平均质量和最低群体满意度的变化，并用未参与调参的新用户群体检查代理是否失真。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #54

基于偏好的对齐方法（例如，RLHF、DPO）通常优化单一的标量目标，隐含地对异质的人类偏好进行平均。在实践中，系统性的注释者和用户群体之间的不一致性使得均值奖励最大化变得脆弱，并容易受到代理过度优化的影响。我们提出了基于风险约束解码的分歧感知对齐（DARC），这是一种无须重训练的推理时方法，将响应选择框架化为分布鲁棒、风险敏感的决策制定。给定多个偏好样本或可扩展的分歧代理，DARC通过**最大化KL-鲁棒（熵）**满意度目标对候选项进行重新排序，并提供简单的部署控制，限制或惩罚相应的熵风险溢价相对于均值，从而在不重训练的情况下实现明确的风险预算。我们提供了理论表征，将这一解码规则与原则性悲观主义和基于KL的分布鲁棒优化联系起来。