Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking

一句话直觉

一个回答得高分，可能因为真正有用，也可能因为碰巧用了奖励模型喜欢的格式；先压缩掉无关线索，再检查策略是否走到异常区域。

问题与机制

InfoRM 基于信息瓶颈（IB）学习奖励表示，目标是减少偏好无关信息导致的误泛化。作者观察到被奖励黑客利用的响应，在这个潜在空间中偏离 SFT 诱导分布，可用马氏距离刻画。随后提出 IBL 分布级正则来惩罚偏移，并用 Mahalanobis Outlier Probability（MOP）量化异常程度，辅助调参及提前停止。奖励表示、策略正则和诊断指标是三个不同部件。

为什么不只看 token KL

表面词语差异可能很大但语义偏好仍合理；也可能用熟悉的词组成投机回答。潜在表示尝试把正则放在与偏好有关的空间，而非机械约束所有 token 变化。马氏距离还会考虑各方向方差和相关性，不能简单等同于普通欧氏距离。

阅读边界

异常不等于有害，新颖的高质量回答也可能远离 SFT 分布。表示若没学好，异常检测也会跟着失准。摘要中的悲观 RL 等价发生在 IB 潜在空间及其理论条件下，不表示所有实现都有相同保证。应同时检验正常创新样本的误报。

自测

1. InfoRM、IBL、MOP 分别承担表示学习、优化还是监测的哪一部分？
2. 为什么奖励高且潜在空间距离远，只能当风险信号而不能直接当错误真值？

小实验（自学设计）

准备真实高质量、格式投机和新颖但正确三组回答，比较原始奖励与 InfoRM 的排序及 MOP。固定正常组误报率再评估投机检测率，避免通过“一律惩罚新样本”获得看似很好的奖励黑客识别。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #70

尽管基于人类反馈的强化学习（RLHF）在使语言模型与人类价值观对齐方面取得了成功，但奖励劫持或奖励过度优化仍然是一个主要挑战。我们识别出缓解该问题的两个关键障碍：（1）奖励建模中的奖励误泛化，即奖励模型过拟合于虚假且与偏好无关的特征；（2）强化学习优化过程中缺乏合适的正则化，现有的基于token级别的约束往往过度限制了策略空间。为解决这些问题，我们提出了InfoRM，一种基于信息瓶颈（Information Bottleneck, IB）原理的信息论奖励建模框架，通过过滤与偏好无关的信息来缓解奖励误泛化。我们进一步观察到，**奖励劫持的响应在InfoRM的IB潜在空间中表现为显著的异常值，利用马氏距离衡量其与SFT诱导分布的偏离。**基于此，我们引入了IBL，一种分布级别的正则化方法，用以惩罚此类偏离，有效扩展了优化空间的同时保持了对齐性。我们证明了IBL在IB潜在空间中理论上等价于悲观强化学习目标。最后，我们提出了马氏异常概率（Mahalanobis Outlier Probability, MOP），一种用于量化奖励劫持严重程度的统计指标，支持有原则的超参数调优及在线缓解措施，如提前停止。