Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling

一句话直觉

一个总奖励可能混合了准确性、文风、长度等因素；把它拆成少数可组合的潜在成分，有助于看清哪些成分只是数据捷径。

问题与机制

Bayesian Non-Negative Reward Model（BNRM）把非负因子分析整合进 Bradley–Terry 偏好模型。实例级潜变量产生解耦的奖励表示，全局潜在因子的稀疏性用于抑制虚假相关；再用条件于深度模型表征的摊销变分推断，使方法能够端到端训练。实例分解与全局稀疏承担互补角色，不是仅仅把标量奖励截断到非负。

与普通 BT 奖励的关系

BT 从两个回答的效用差映射到偏好概率；BNRM 保留这种成对选择框架，但改变效用的潜变量结构与推断方式。贝叶斯视角还允许表达后验不确定性，不过不确定性是否准确需要校准评估，而不能只因为用了概率分布就假定可靠。

阅读边界

非负或稀疏本身不保证因子自动对应真实价值维度。因子可能仍受数据偏差影响，解释性需要干预或人工分析支持。摊销推断用网络近似后验，存在近似误差；稀有偏好也可能被稀疏化错误压制。摘要报告奖励过度优化与分布外鲁棒性改善，但不是普遍消偏证明。

自测

1. 非负潜在因子建模与把最终奖励做 ReLU，有何本质区别？
2. 后验方差变小，为什么可能代表自信过度而非模型更准确？

小实验（自学设计）

构造质量和长度相关的偏好集，再在测试集打破这种相关。比较标量 BT 与 BNRM 的排序、校准和因子解释；逐步增大稀疏强度，检查捷径减少时少数偏好的识别是否也受到损伤。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #72

基于人类偏好的奖励模型在通过人类反馈进行强化学习以对齐大型语言模型（LLMs）中占据核心地位，但由于噪声注释和系统性偏差（如响应长度或风格），它们往往容易受到奖励黑客攻击。我们**提出了贝叶斯非负奖励模型（BNRM），这是一个原则性的奖励建模框架，将非负因子分析整合到布拉德利-特里（BT）偏好模型中。**BNRM通过稀疏的非负潜在因子生成过程来表示奖励，该过程在两个互补层面上运作：特定实例的潜在变量诱导解耦的奖励表示，而对全局潜在因子的稀疏性则作为一种隐式去偏机制，抑制虚假相关性。结合起来，这种解耦-去偏结构使得对不确定性感知的奖励学习更加稳健。为了将BNRM扩展到现代LLMs，我们开发了一种基于深度模型表示的摊销变分推断网络，允许高效的端到端训练