Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

一句话直觉

推理题的第一处错误比整段答案的总胜负更能告诉模型该修改哪一步。

要解决什么，怎样做

Step-DPO把偏好优化单位从完整答案改为推理步骤。对于共享正确前缀的一对候选，训练重点是下一步中正确与错误的差异，使监督更接近错误发生的位置。论文也提供步骤偏好数据构造流程，并指出与当前策略分布相近的自生成数据可能更有效。学习时可先画出推理树，区分“前缀相同的局部比较”与“整条轨迹完全不同的比较”。

和已有方法的区别

普通DPO只能从整段优劣分配信号，可能连带强化或抑制无关步骤；Step-DPO提高监督粒度。它并不自动提供每步正确性的神谕，数据构建中的错误定位仍是关键成本。

阅读边界与局限

步骤切分和正确性标注若不可靠，细粒度监督也会传播错误。部分正确步骤未必通向正确最终答案，因此需要同时评估单步可靠性和最终解题表现，避免只学局部漂亮的推理。

自测

1. 两条推理链前半段完全不同，能否直接构成严格的下一步偏好对？
2. 为什么最终答案正确不足以证明所有中间步骤正确？

小实验（自学设计）

选可用程序验证的简单算术链，定位首个错误并构造共享前缀的正确/错误下一步。比较全答案DPO与步骤DPO，在相同token预算下测首错率、最终正确率及推理长度。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。清单列2025，但原论文首发为2024。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #21

这篇论文试图解决大型语言模型（LLMs）在数学推理任务中面临的挑战。具体来说，数学推理需要精确且广泛的推理链，确保每一步推理的正确性至关重要。然而，现有的直接偏好优化（Direct Preference Optimization, DPO）方法在长链数学推理中的效果有限，因为使用DPO的模型难以识别错误答案中的具体错误。这种局限性源于缺乏细粒度的过程监督。为了解决这个问题，论文提出了一种称为Step-DPO的简单、有效且数据高效的方法，它将单个推理步骤作为偏好优化的单位，而不是整体评估答案。此外，论文还开发了一个数据构建流程，用于为Step-DPO创建包含10K步进偏好对的高质量数据集。论文的发现表明，使用Step-DPO，即使是10K偏好数据对和少于500步的训练，也能在具有超过70B参数的模型上实现近3%的准确性提升。