A Survey on Progress in LLM Alignment from the Perspective of Reward Design

一句话直觉

对齐方法可以沿着“反馈怎样变成奖励、奖励怎样进入优化”这条线组织，先理解接口再记算法名。

要解决什么，怎样做

这篇综述以奖励设计为连接反馈与模型行为的桥梁，整理数学形式、构建实践和与优化范式的关系。它讨论从RL到直接优化、从单一任务到多目标与复杂场景的变化。自学时可为每篇方法建立四列：反馈来源、奖励或偏好表示、优化位置、评估方式；同名“对齐”方法的差异会更清楚。

和已有方法的区别

与只按PPO、DPO等优化器分类不同，奖励视角能解释为什么同一训练算法搭配不同反馈会表现不同。综述提供分类地图，不是一个在所有基准上更好的新损失，也不能把列出的全部方法视为相互等价。

阅读边界与局限

分类框架会随论文版本与领域发展改变，综述引用的实验结论仍应回查原文。尤其要区分人类偏好、AI评分、程序可验证奖励与预训练统计规律，它们的可靠性来源不同。

自测

1. DPO没有显式奖励模型，为什么仍适合放在奖励设计框架里研究？
2. 奖励准确但优化器探索不足，会出现什么问题？

小实验（自学设计）

从本站任选五篇覆盖RLHF、DPO、推理引导、多目标和过程监督的论文，填写反馈—表示—优化—评估四列表格。每列只写可核验信息，再找出两篇算法名字不同但接口相似的方法。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验2025年8月修订摘要；清单早期三维概括与首发版分类表述不同，学习时应固定版本。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #40

系统性综述论文，从奖励设计视角梳理LLM对齐进展。组织框架：(1)三维度分析——数学公式化（奖励如何定义）、构建实践（奖励如何构建，如人类反馈/AI反馈/规则）、优化范式交互（奖励与优化算法如何配合）；(2)宏观分类法——沿互补维度刻画奖励机制特征；(3)范式转变追踪——从RL-based到RL-free（如DPO），从单任务到多目标/复杂设置。提供概念清晰性和实用指导，帮助研究者定位方法和识别设计权衡。