一句话直觉
比较DPO与PPO，要同时比较数据覆盖、在线采样和实现细节，算法名字本身不能决定胜负。
要解决什么，怎样做
论文从理论与实验两边检查“DPO一定优于PPO”的常见印象。DPO直接拟合离线偏好对，训练方便，但有限比较数据可能留下分布外响应的行为空白；PPO通过奖励模型评价新生成响应，能够在线调整策略，却更依赖优化配置。作者重新检查PPO训练中的优势归一化、大批量和参考模型更新等因素，再在对话与代码任务中比较。学习重点是把“目标函数的限制”与“实现没调好”拆开。
和已有方法的区别
这是一篇比较与诊断论文，不是提出一个更复杂的DPO损失。它提醒我们，离线监督和在线探索的信息来源不同；同一偏好数据集并不意味着两个流程看到了完全相同的训练信号。
阅读边界与局限
论文中PPO占优只适用于其测试配置，不能推广成所有预算、模型与任务下的定理。记录算力、采样量和奖励质量，才可能复现比较。
自测
- 为什么只控制训练轮数，仍不能公平比较PPO和DPO？
- 如果PPO的奖励模型失真，在线采样的优势会怎样转化为风险？
小实验（自学设计）
固定基座、初始偏好池与总生成token预算，对比离线DPO和一次在线补采样后的DPO；再分别改变PPO实现配置。记录独立正确率、胜率、KL与实际GPU时间，判断差异来自目标、覆盖还是工程设置。
来源与核验
已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。
原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
对齐论文表 #1
本文研究了直接偏好优化（DPO）和近端策略优化（PPO）在使大型语言模型与人类偏好保持一致方面的性能。通过理论和实证分析，本文揭示了DPO可能存在一些根本性的局限性。研究还确定了PPO在微调语言模型方面表现优异的关键因素。最终，实验表明，PPO在包括高难度代码竞赛在内的各种RLHF基准测试中均取得了最先进的结果。