When Human Preferences Flip: An Instance-Dependent Robust Loss for RLHF

一句话直觉

偏好被标反的概率往往取决于样本有多难，不能假设每个标签都以同样概率出错。

要解决什么，怎样做

FA-DPO把标注过程拆成真实意图产生标签、外部因素使标签翻转两阶段，在BT模型基础上引入实例依赖的翻转概率，再利用与标注相关的特征估计这种不确定性。由此构造与RLHF或DPO兼容的迭代优化。关键是把“人确实偏爱另一种回答”与“本想选A却标成B”区分，这两者的处理目标不同。

和已有方法的区别

固定噪声率修正对所有样本一视同仁；FA-DPO允许难例有不同的错误率。它也不等于直接删除高损失样本，因为高损失可能来自有效但模型尚未学会的偏好。

阅读边界与局限

真实意图与翻转机制的分离需要可识别性和估计条件。若模型总把少数群体偏好当成错误，会损害公平性；必须用重复标注或可靠保留集验证纠错是否正确。

自测

1. 难题标签更容易出错，为什么会破坏统一翻转率假设？
2. 如何防止噪声模型把少数偏好解释成标注失误？

小实验（自学设计）

在干净合成偏好上注入两种噪声：均匀翻转和与回答相似度相关的翻转。比较标准DPO、统一修正与实例修正，分别评估干净准确率及不同难度组的误纠正率。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #38

提出翻转感知DPO(FA-DPO)，解决人类偏好标注不一致（偏好翻转）问题。核心方法：(1)两阶段分解——将偏好建模分解为内在人类意图模型（真值）和偏好翻转机制（噪声）；(2)实例依赖翻转概率——在经典Bradley-Terry模型上构建实例级翻转概率，每对偏好有其独特的翻转可能，而非假设均匀噪声；(3)标注特征建模——利用与偏好标注相关的特征（如判断难度信号）捕获不确定性，建模不同的翻转模式。简单高效的迭代优化算法，兼容现有RLHF/DPO流程。