When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming

一句话直觉

奖励黑客应作为训练中局部发生的转变来监测，而不只看最终模型的平均分。

先理解问题

一条训练曲线的平均奖励上升，可能掩盖少数提示上质量下降。若只比较训练前后两个检查点，很难知道失败从何时开始，也很难区分奖励黑客、重复增加或评判器之间的分歧。

方法如何工作

作者建立紧凑RLHF管线，对比PPO、DPO与不确定性惩罚PPO，按学习奖励和两个外部judge分数的变化方向分类检查点及逐提示转变，并同时观测漂移、多样性和重复等诊断信号。重点是把失败定位到具体样本和时间段，再研究前置特征是否有预测信息。

放回偏好对齐的地图

本工作主要贡献是评价方法而非一个替代DPO的损失。UP-PPO降低某种失败信号，不意味着消除了全部风险；多个judge一致也不等价于获得人类真实目标。

阅读边界

摘要支持的是局部信号可分类、可部分预期，不能把特定管线的比例当成通用发生率。使用前置特征预测时，还应检查数据泄漏、训练/测试时间划分和类别不平衡。

自测与动手

1. 如果平均judge分不变，逐提示质量是否可能有明显恶化？举例说明。
2. 为什么“奖励升、judge降”的规则必须考虑judge噪声和提示匹配？

**小实验（自学设计）：**保存一条小型RL训练的固定提示集检查点输出，给每个提示画学习奖励与独立质量曲线；比较聚合报警和逐提示报警，并用较早检查点预测较晚转变，避免随机拆分造成泄漏。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #14

对紧凑RLHF管线（PPO、DPO、UP-PPO）进行系统性失效模式实证研究。跨61个检查点、1920个行级转换，按learned reward方向、judge分数和平均judge分数分类奖励黑客转换。激进PPO局部奖励黑客率最高达14.45%，UP-PPO降至11.33%。训练前逻辑回归模型预测奖励黑客ROC-AUC达0.821。核心结论：RLHF失败是可分类、可定位、可部分预期的训练动态。