Unbiased Alignment for Large Language Models with Noisy Preferences

一句话直觉

如果知道标签可能怎样被翻转，可以修正训练时的统计量，而不必把每一条错误标签都人工找出来。

问题与机制

本文提出 Unbiased Reward Model（URM）与 Unbiased Direct Preference Optimization（UDPO）损失，数学上纠正偏好噪声造成的扭曲。摘要强调无需干净真值监督即可从噪声数据训练，并分析噪声容忍、参数向下兼容与分类校准等性质。“无偏”首先指指定噪声模型下的统计目标，不是说整个训练过程已经没有任何数据、表示或优化偏差。

与重加权方法的关系

可靠性加权通常根据模型证据减少可疑样本贡献；无偏修正则希望使含噪损失的期望与干净目标一致。两者可以在期望目标、方差与假设要求上不同。无需干净监督也不等于没有假设，复现前应核对噪声参数如何获得，以及噪声是否允许依赖实例。

阅读边界

无偏估计可能具有较高方差，有限样本性能不必自动更好。分类校准说明某类最优决策关系，并不等价于生成回答质量全面提升。当前核验 arXiv v2（2026-10-26）；原研究清单的早期摘要与当前版应按版本区分。

自测

1. 损失期望无偏，为什么某次训练仍可能比有偏但低方差的方法差？
2. “不需要干净标签”与“不需要噪声假设”为什么不是同一句话？

小实验（自学设计）

在可知真实标签的偏好集上注入已知翻转率，用干净损失、普通含噪损失和无偏修正分别训练。重复多个随机种子报告均值与方差，再故意使用错误噪声率，观察理论假设失配的影响。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #73

偏好数据中的标注噪声会扭曲RLHF和DPO的对齐效果

大型语言模型与人类偏好的对齐通常通过人类反馈的强化学习或直接偏好优化实现。然而，这些方法容易受到现实世界偏好数据集中普遍存在的显著噪声的影响。为了解决这一关键问题，我们提出了一个无偏对齐的理论框架，引入了无偏奖励模型（URM）损失和无偏直接偏好优化（UDPO）损失。通过数学上纠正偏好噪声引起的扭曲，我们的新目标使得能够直接从噪声数据集中进行无偏模型训练，而无需干净的真实监督。

---

研究想法 #75

研究问题：偏好数据中的标注噪声会扭曲RLHF和DPO的对齐效果。核心方法：提出无偏奖励模型(URM)损失和无偏DPO(UDPO)损失，通过数学修正偏好噪声引起的偏差，无需干净标注即可从含噪数据中训练。主要创新：理论证明方法具有噪声容忍性、参数向下兼容性和分类校准性；首次为偏好噪声环境下的无偏对齐提供了完整的理论框架。实验在多个数据集上超越SOTA基线。