ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

一句话直觉

要挑当前模型最需要人类比较的样本，让标注选择跟着正在对齐的模型状态一起变化。

要解决什么，怎样做

ActiveDPO为非线性奖励函数设计有理论依据的数据选择准则，并直接利用目标LLM参数化用于选择的奖励模型。这样数据价值不由一个与主模型无关的固定评分器决定，而是反映目标模型当前的知识与不足。完整学习循环应区分候选生成、选择、标注和DPO更新四步，才能判断标注效率来自哪里。

和已有方法的区别

与已标注数据池中的一次性筛选不同，主动学习决定下一批要向人类询问什么。与线性奖励假设下的策略相比，它考虑更一般的非线性情形，但不意味着理论覆盖任意大模型实现误差。

阅读边界与局限

选择准则自身有计算开销，过度挑选困难样本可能集中在不可判定或高噪声区域。应以相同标注预算和总计算预算做两种比较，并检查选中样本是否有足够主题覆盖。

自测

1. 主动选择和离线数据清洗的主要区别是什么？
2. 为什么当前最不确定的一对，也可能是永远无法学清的一对？

小实验（自学设计）

固定标注预算，比较随机选择、固定奖励差选择和随模型更新的选择。每轮记录被选样本难度、主题分布、人工分歧率和独立验证得分，画“得分—累计标注数”曲线。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发2025；这里采用已核验的ICLR 2026正式版本年份。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #32

提出主动DPO方法，通过主动数据选择实现样本高效对齐。核心思路：(1)设计理论上合理的数据选择标准，适用于非线性奖励函数（超越此前假设线性奖励的方法）；(2)利用LLM自身参数化奖励函数——对齐目标模型同时充当数据选择器；(3)选择过程显式耦合模型状态，根据LLM当前知识自适应地选择最有信息量的偏好对进行人工标注。数据选择标准基于不确定性/信息增益，使标注资源使用效率最大化。