一句话直觉
与其把所有偏好对都训练一遍，不如先看模型在哪些词语和输出分布上偏离人类偏好，再把计算投向这些差距。
问题与机制
DEFT 将数据过滤与分布引导结合。先从偏好数据抽取正负差异分布，比较模型输出与这个偏好信号，形成分布奖励；用奖励选择一个较小的训练子集，并在原有对齐方法中加入分布引导。学习时把它拆成两个干预：改变“学哪些样本”的数据选择，以及改变“每个样本怎么学”的目标修改。二者可能互相配合，但应该分别做消融。
与普通 DPO 的关系
DPO 的监督单位是特定提示下的正负响应对；DEFT 额外利用跨数据的输出分布信息，可作为已有对齐方法的增强框架。这里的 distribution 需要结合正文确认其 token 统计定义，不能仅因名字相近就将它等同于最优传输或生成样本分布级奖励。
阅读边界
已核验 ACL Anthology 的 EMNLP 2024 Findings 论文记录，避免将同名后续 arXiv 索引误当发表年份。词分布也可能捕获风格或模板，而非真正的质量差异；训练集里少见的专业术语不能仅凭分布奖励就判为不好。小子集的有效比例也不是对所有领域通用的常数。
自测
- 数据过滤与训练损失引导分别在哪个环节发挥作用？
- 若偏好数据中“更长”与“更好”相关，差异分布会面临什么混杂？
小实验（自学设计）
做四组：原算法、仅筛选、仅分布引导、二者结合。固定总训练 token，再在不同领域测试，额外比较词频、回答长度与事实正确性，检查分布趋近是否只是学会了偏好的文风。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #52
基于人类反馈的强化学习（RLHF），使用如近端策略优化（PPO）等算法，使大型语言模型（LLMs）与人类价值观对齐，但代价高昂且不稳定。已有替代方案被提出，以取代PPO或将监督微调（SFT）与对比学习相结合，以实现直接微调和价值对齐。然而，这些方法仍然需要大量数据来学习偏好，并可能削弱LLMs的泛化能力。为了进一步提高对齐效率和性能，同时减轻泛化能力的损失，本文提出了一种分布引导的高效微调（DEFT）框架，该框架通过计算基于语言模型输出分布和偏好数据差异分布的差异分布奖励，结合数据过滤和分布引导。通过差异分布奖励，从原始数据中筛选出一个小而高质量的子集，然后将其纳入现有的对齐方法中，以引导模型的输出分布。