Gradient Regularization Prevents Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards

一句话直觉

防止策略钻奖励空子，不只可以限制“离原模型有多远”，也可以让更新更倾向奖励模型可靠的地方。

问题与机制

本文把奖励准确性与收敛最优点的平坦性联系起来，提出梯度正则化（GR）。作者先做理论分析与梯度范数、奖励准确性之间的经验检查，再把 KL 参考重置解释为一种隐式 GR，最后用高效有限差分估计显式正则化。干预对象是优化区域的几何与奖励可靠性，不只是输出分布与参考策略的距离。

与 KL 正则的区别

KL 惩罚控制策略偏移，但同样距离内可能有很不一样的奖励误差；参考模型附近也未必处处可靠。GR 的动机是将“在哪里更新”与“更新多远”分开考虑。有限差分用若干邻近点的函数或梯度信息近似高阶量，因此实现必须统计额外调用成本。

阅读边界

平坦性与奖励准确性的联系依赖具体理论设定，不能泛化为“梯度小就安全”或“所有平坦区域都没有奖励黑客”。参数重缩放也可能影响常见平坦性度量。摘要报告 RLHF、规则数学奖励和模型裁判任务中的效果，但真实安全性仍需任务外评估。

自测

1. 相同 KL 偏移的两种策略，为什么可能有不同的奖励泛化误差？
2. 有限差分估计高阶信息时，步长过大与过小分别可能有什么问题？

小实验（自学设计）

用已知真实奖励和带捷径代理奖励训练小策略，对照 KL、参考重置、显式 GR。记录真实收益、代理收益、梯度范数和总前向次数，再改变参数尺度，检查观察到的几何关系是否稳健。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #69

人类反馈强化学习（RLHF）或可验证奖励（RLVR）是现代语言模型（LM）后训练中的两个关键步骤。一个常见的问题是奖励黑客行为，即策略可能利用奖励的不准确性并学习到意图之外的行为。大多数先前的研究通过限制策略更新，施加对参考模型的Kullback-Leibler（KL）惩罚来解决这个问题。我们提出了一个不同的框架：**以一种偏向于奖励更准确区域的方式训练语言模型。首先，我们推导了奖励模型的准确性与收敛时最优解的平坦性之间的理论联系。然后，可以使用梯度正则化（GR）来偏向训练到更平坦的区域，从而保持奖励模型的准确性。**我们通过实证结果确认了梯度范数与奖励准确性在RLHF中的相关性。接着，我们展示了KL惩罚的参考重置隐式地使用GR来寻找具有更高奖励准确性的平坦区域。我们进一步提出使用显式的GR和高效的有限差分估计来改进这一方法。