Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback

一句话直觉

如果环境变坏到所有策略都得低分，没必要仅因绝对最坏收益很低就过度保守；更有用的问题是自己比当时最好的选择差多少。

问题与机制

Wasserstein Distributionally Robust Regret Optimization（DRRO）把奖励模型视作不完美代理，在合理奖励扰动中优化最坏后悔值。与 DRO 悲观化最坏价值不同，DRRO 在同一奖励扰动下与最佳策略比较。论文通过逐提示的单纯形分配模型分析问题，在 $\ell_1$ 不确定集合下得到内部最坏后悔的精确解与水填充结构，并据此形成可接入 PPO/GRPO 风格训练的策略梯度方法。

一个决策直觉

教学上可把后悔理解为 $\max_{\pi'}V(\pi',r)-V(\pi,r)$，其中两项使用同一个奖励 $r$。这只说明比较基准，不是论文完整算法或 Wasserstein 目标。后悔小意味着在该扰动下没落后最优太多，不必意味着绝对效用很高。

与奖励黑客的联系

代理奖励上涨而真实质量下降是目标误设的表现。DRRO 试图在对奖励不确定性的建模中减少这种脆弱性，同时缓解一般 DRO 的过度悲观。不确定集合怎么定义，决定了方法实际防什么错误。

阅读边界

单纯形与特定范数下的精确结构，不等于任意神经网络策略空间都能精确求解。若真实奖励误差不在集合内，鲁棒保证可能无法覆盖。需要同时评估真实性能、代理分数与计算开销。

自测

1. 为什么最坏绝对收益与最坏后悔可能选出不同策略？
2. 后悔比较若用了两个不同奖励函数，会失去什么含义？

小实验（自学设计）

构造三个动作与一组可能奖励表，穷举 ERM、DRO、DRRO 的选择。逐步增大奖励不确定范围，比较最坏绝对收益与最坏后悔，再加入集合外奖励，观察保证的适用边界。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #67

基于人类反馈的强化学习（RLHF）已成为对齐大型语言模型的核心后训练步骤，然而，RLHF中使用的奖励信号仅是对真实人类效用的学习代理。从运筹学的角度来看，这造成了一个在目标误设定下的决策问题：策略是针对估计的奖励进行优化，而部署性能则由未观察到的目标决定。由此产生的差距导致了奖励的过度优化，即Goodhart现象，在这种情况下，代理奖励在真实质量恶化后仍然持续改善。现有的缓解措施通过不确定性惩罚、悲观奖励或保守约束来解决这一问题，但它们可能在计算上负担沉重且过于悲观。我们提出了用于RLHF的Wasserstein分布鲁棒遗憾优化（DRRO）。与标准的分布鲁棒优化（DRO）通过悲观化最坏情况值不同，DRRO悲观化相对于在相同可行奖励扰动下最佳策略的最坏情况遗憾。我们通过单纯形分配模型研究逐提示问题，并表明在$\ell_1$**模糊集下，内部最坏情况遗憾具有精确解，且最优策略具有水填充结构。**这些结果导致了一种具有简单采样奖励解释的实用策略梯度算法，并对PPO/GRPO风格的RLHF训练仅进行了少量修改。该框架还理论上阐明了为何DRRO比DRO更不悲观，我们的实验表明，DRRO在缓解过度优化方面比现有基线更有效，而标准DRO则系统性地过于悲观。