Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation

一句话直觉

DPO也可以通过“生成—验证—再训练”的循环持续改善推理，关键在于反馈与新数据是否可靠。

要解决什么，怎样做

论文实证研究迭代偏好学习。先用粗筛选的一轮DPO检验基础收益，再让生成器和奖励模型通过在线交互互相改进；在能够验证结果的任务中，DPO-VP使用简单可验证信号来构造偏好。学习时要把“DPO损失简单”与“完整闭环便宜”分开：每轮采样、验证、筛选也占用资源。

和已有方法的区别

离线DPO只在固定响应池上学习，迭代DPO不断更新策略看到的候选。与依赖开放式裁判的对齐相比，可验证结果有更清楚的对错标准，但最终答案对不等于推理过程完全可靠。

阅读边界与局限

收益依赖较强基座、探索多样性与验证器质量。摘要中的RL级效果是实验设置内的比较，不意味着任何推理任务都能用DPO无损替代RL，也不能据此推断形成了新的推理能力。

自测

1. 迭代DPO和把同一数据多训练几轮，信息上有什么区别？
2. 验证器只看最终答案时，可能偏爱哪些错误推理？

小实验（自学设计）

在程序可验证的算术或代码小任务上，每轮从当前策略生成候选并构造可验证偏好。与等token预算的固定池重复训练比较，记录正确率、候选多样性、验证失败类型和总运行时间。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已按COLM 2025正式标题补全副标题。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #35

提出迭代DPO增强LLM推理能力。核心流程：(1)粗过滤单轮DPO——即使仅一轮粗过滤DPO也可显著提升数学推理；(2)双向改进循环——生成器与奖励模型(RM)在多轮在线交互中相互改进：生成器产生新输出，RM评分筛选，反馈进入下一轮DPO优化；(3)DPO-VP(可验证奖励)——使用客观可验证的奖励信号（如数学答案正确性），实现RL级别性能但计算成本显著更低。自强化循环持续提升推理能力。