一句话直觉
想知道模型究竟学会奖励什么，最有信息量的证据往往不是它轻松判断正确的样本，而是当前解释失败的边界案例。
问题与机制
这项工作用逆强化学习（IRL）研究 RLHF 策略内部的奖励信号。一般奖励提取可能平等使用所有偏好对，但作者把当前提取奖励模型分错、或者赋予近似相等分数的样本称为 failures，并聚焦这些困难案例来恢复潜在奖励。摘要报告在去毒任务上，得到的奖励更能反映已学激励，并可用于重新运行 RLHF。这里的失败是相对于当前奖励解释而言，不一定是语言模型本身输出了错误答案。
与偏好数据选择的联系
它与主动学习共享“把注意力放到信息缺口”的思想，但目标是审计已对齐策略的潜在激励，不只是用更少标注训练一个新策略。理解 IRL 时需要记住可辨识性问题：不同奖励函数可能诱导相似行为，所以恢复的奖励必须放在建模假设下解释。
阅读边界
摘要中的“更真实”是通过给定任务与后续训练效果验证的经验结果，不表示直接读到了模型内部唯一的真实价值函数。困难样本也可能是噪声或分布外数据，若一味强调它们，需要检查是否把异常标注放大。
自测
- 一个偏好对的奖励间隔很小，为什么对理解潜在激励可能有用？
- 能重现策略行为的奖励，是否就是唯一的真实奖励？
小实验（自学设计）
先在已知合成奖励下训练小策略，再用随机样本和失败优先样本分别提取奖励。比较排序恢复、分布外表现与重新 RL 后的行为，而不只比较原训练集准确率。加入一小部分错标，观察困难样本策略是否过度关注噪声。
来源
论文原文与摘要。笔记中的自测与小实验为自学设计。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #53
从人类反馈中进行强化学习（RLHF）使大型语言模型（LLMs）能够与人类偏好保持一致，然而其内在的奖励信号仍然隐匿不明，给可解释性和安全性带来了关键挑战。现有方法尝试通过逆向强化学习（IRL）提取这些潜在激励，但对所有偏好对一视同仁，常常忽视了最具信息量的信号：即被提取的奖励模型误分类或赋予近似相等分数的示例，我们称之为“失败”。本文提出了一种新颖的“失败感知”IRL算法，聚焦于误分类或难以判别的示例，以恢复定义模型行为的潜在奖励。通过从这些失败中学习，我们的失败感知IRL能够提取更准确反映RLHF背后真实目标的奖励函数。