Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks

一句话直觉

评价DPO变体时，基座是否已做指令训练、是否先SFT以及训练数据量，可能和损失选择同样重要。

要解决什么，怎样做

论文比较DPO及其变体在多任务上的效果，区分先SFT、无SFT和直接使用指令模型三种配置，并检查数据子集规模。任务覆盖对话、数学、问答、真实性等。自学重点是把“对齐训练改善了什么”定位到具体能力，而不是只看合并总分；真实性、对话偏好和复杂推理可能有不同走势。

和已有方法的区别

这是一项控制实验型研究，不是新的训练目标。与只在一个对话基准排榜不同，多任务评估能看见收益和能力退化，也能解释不同论文为什么对同一种方法得出不同印象。

阅读边界与局限

实验结论受测试模型、数据和超参数覆盖限制。小子集接近最优不代表所有数据都冗余，可能只是当前指标不敏感或任务覆盖有限。不要把早期模型上的相对名次当成永久排序。

自测

1. 直接在指令模型上DPO和在原始预训练模型上DPO，起点差在哪里？
2. 对话胜率上涨、推理正确率下降，应该怎样表述结果？

小实验（自学设计）

选一个小型指令模型，比较不训练、SFT后DPO、直接DPO三个设置，在固定数据与预算下评估对话格式、算术和事实问答。再缩小训练子集，画每项任务的单独学习曲线。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。原论文首发2024，另有后续正式版本；已补全原文副标题。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #41

系统评估DPO及其变体（IPO、KTO、CPO等）的对齐性能。三种测试配置：(1)带SFT后进行DPO；(2)直接DPO（无SFT）；(3)使用指令微调模型进行DPO（无额外SFT）。核心发现：(1)数据效率——即使使用小规模训练子集，对齐方法也能达到接近最优性能；(2)任务差异——DPO变体对复杂推理任务提升有限，但能增强数学问题解决能力；(3)真实性——使用指令微调模型（配置3）能显著提升真实性。为DPO类方法的应用场景提供了实证指引。