Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models

一句话直觉

奖励黑客可能表现为更新方向偏离可信轨迹，因此约束方向可以补充标量KL约束。

先理解问题

模型可能靠捷径提高代理奖励，同时真实数学任务能力下降。单看奖励或更新步长，无法分辨沿可靠方向进步与朝漏洞方向移动；论文关注参数更新的主导方向是否发生异常变化。

方法如何工作

作者通过参数更新的奇异方向研究干净训练与奖励黑客训练的差别，并提出可信方向投影：先从干净参考训练提取低维子空间，随后把强化学习梯度约束在其中。其思路是保留可信学习方向，同时抑制偏离该子空间的分量。

放回偏好对齐的地图

KL主要控制分布偏离幅度，方向投影对允许的参数变化方向施加额外结构。与GEOALIGN根据rollout表示筛选数据不同，这里直接限制梯度；二者需要分别评价信息损失与计算成本。

阅读边界

可信子空间取决于干净数据质量、覆盖和秩。把新任务有效梯度投出去也会降低学习能力；数学实验不能证明所有奖励黑客都由同一低维方向漂移引起。扩散迁移属于原清单的个人想法。

自测与动手

1. 为什么范数很小的更新仍可能朝奖励漏洞方向移动？
2. 如果新任务所需方向不在参考子空间，投影会带来什么代价？

**小实验（自学设计）：**在可控代理奖励含捷径的任务中比较无投影、随机同秩投影、干净子空间投影；画代理奖励、真实奖励、投影保留梯度比例，排除仅减小有效学习率的解释。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #10

**1.问题：**LLM 强化学习中的 reward hacking 问题

所谓 reward hacking，是指模型在训练中并没有真正学会目标任务，而是找到了某种“投机取巧”的方式来提高代理奖励。比如在数学推理任务中，训练环境或者评估规则可能存在某些漏洞，模型不是真的提升了数学推理能力，而是学会利用这些漏洞来获得高 reward。

reward hacking 不仅仅是 reward model 设计不完美的问题，也可能是优化方向发生了偏移的问题。

2.做法（梯度）：

1. 可信方向梯度对齐：干净训练中的模型更新方向往往具有稳定的低维结构；reward hacking 发生时，模型更新方向会偏离这个稳定轨迹。**reward hacking 是“方向漂移”。**如果 reward hacking 对应的是偏离“可信学习方向”的更新，那么可以通过限制梯度方向来抑制 reward hacking。

2. 先用一小段干净数据训练，得到可信的更新方向；然后在 RL 训练过程中，只允许梯度沿这些可信方向更新。

3. 后续RL中需要保证在可信方向更新，不能随便朝reward hacking的方向跑偏

3.总结：

它提出了一个新的 reward hacking 解释视角：

reward hacking 可以被看作 RL 更新方向偏离 clean learning trajectory 的现象。

它用 SVD 和 CCA 实证验证了这个现象：

clean training 的主导更新方向较稳定，而 hacking training 的方向漂移明显更强。

它把 reward hacking 从“奖励函数问题”转化成了“优化几何问题”。

这篇论文的核心结论是：

reward hacking 在参数空间中表现为主导更新方向的明显漂移；如果把 RL 梯度限制在由 clean training 得到的可信方向子空间中，就可以有效延缓 reward hacking，并更好地保持真实任务性能。

4.迁移到 diffusion model alignment：

1. 用 clean preference data 或 supervised denoising warmup 提取可信更新方向；

2. 分析 aligned diffusion model 和 hacking diffusion model 的参数更新子空间差异；

3. 在 preference optimization 或 reward-guided finetuning 中约束梯度方向；

4. 防止模型朝某些 reward shortcut 方向优化，比如过度提高 aesthetic score、牺牲 prompt faithfulness、产生 mode collapse 或 reward overoptimization。

---

研究想法 #68

奖励黑客行为发生在模型通过利用捷径来提高代理奖励，而不是解决预期任务。我们通过语言模型中强化学习更新的几何结构研究这种失败模式，并认为当优化偏离稳定的低维学习轨迹时，黑客行为就会出现。我们通过参数更新的主导奇异方向分析这种偏移，并显示奖励黑客行为的运行表现出比正常运行显著更大的方向变化。基于这一观察，我们引入了可信方向投影，该方法限制梯度保持在一个干净的参考子空间内。在数学推理的奖励黑客实验中，所提出的方法延迟了捷径的利用，并更好地保持了任务性能。

---

对齐论文表 #51

通过RL更新几何分析奖励黑客行为：当优化偏离稳定低维学习轨迹时黑客行为出现。分析参数更新主导奇异方向发现奖励黑客运行的方向变化显著大于干净运行。提出可信方向投影约束梯度保持在干净参考子空间内。数学推理奖励黑客实验上延迟捷径利用并更好保持任务性能。为理解和缓解RLHF中的奖励过度优化提供几何视角。