Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels

一句话直觉

让模型学习“哪些偏好更值得相信”，还需要一个评价权重好坏的外层信号；当干净元数据缺失时，这个信号不能凭空假定存在。

问题与机制

本文提出双层优化框架，内层按可学习权重训练 DPO，外层引导权重学习。在理想化条件下分析恢复干净数据 DPO 最优解的性质，并推导标签翻转噪声下的权重先验形式。当前 v2 摘要具体提出 prompt augmentation consistency，以便在完全没有元数据时进行元学习；再将中心差分近似与 LoRA 结合，降低高阶梯度的成本。权重本身是被优化的对象。

与简单丢弃可疑样本的区别

过滤规则一般固定，双层学习则用外层目标判断某种权重是否有益。Metadata-free 不表示无需提示词、偏好数据或额外假设，而是移除了特定元数据依赖。提示改写应保留任务与偏好，否则“一致性”可能监督了错误等价关系。

阅读边界

理想条件下恢复最优解不等于现实非凸训练必然恢复。中心差分存在步长、噪声与额外计算的权衡，LoRA 也限制可调整的参数子空间。应把标注成本与计算成本分别比较，而不能只看新增可训练参数少。

自测

1. 双层优化的外层若与内层共用同一噪声，可能出现什么自我确认？
2. 为什么提示增强必须保持偏好含义，不能只要求语言上相似？

小实验（自学设计）

在带已知翻转标签的数据上比较固定置信权重、双层权重和随机权重。对提示增强做人工语义一致性抽检；同时报告权重与真实错标的对应、生成质量及总前向次数，再用非对称噪声测试假设敏感性。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #76

研究问题：DPO对齐性能高度依赖偏好数据质量，现实场景中噪声偏好标签会严重削弱对齐效果。核心方法：提出双层优化框架，证明可在干净数据下恢复DPO最优解；推导非对称标签翻转噪声下可学习权重函数的先验形式；提出任务无关的元知识驱动方法，在无元数据条件下实现元学习。创新：结合中心差分近似与LoRA微调降低高阶梯度计算成本。