Uncertainty-Aware Reward Modeling for Stable RLHF

一句话直觉

奖励不仅要给分，还应告诉优化器这个分数有多不可靠。

先理解问题

奖励模型常是确定性点估计，无法区分“确实优秀”与“分布外所以乱打高分”。组式策略优化若对这些分数一视同仁，不可靠的高奖励就可能被放大，引发过度优化。

方法如何工作

UARM利用基于分位数的共形预测为奖励模型构造校准不确定性，并以异方差分解对GRPO优势重加权。方法跨越奖励估计和策略更新两层：先估计信号可靠性，再控制不同回答对更新的影响，而非仅给最终分数减一个固定常数。

放回偏好对齐的地图

与离散奖励聚类不同，它不一定让相近回答同分，而是降低不可靠监督的有效权重。与统一奖励惩罚也不同，异方差意味着每个样本的噪声水平可以不同。

阅读边界

共形预测的覆盖保证依赖校准与测试之间的相应可交换性等条件；策略不断变化时分布漂移值得特别检查。窄区间也可能来自错误校准，不能直接作为可信证明。

自测与动手

1. 高奖励高不确定与中等奖励低不确定，在优势估计中为何可能应该区别对待？
2. 在线策略改变后，原校准集的区间覆盖率为什么可能下降？

**小实验（自学设计）：**在固定奖励模型上按训练内/分布外回答分组，检验预测区间覆盖；再对比标准GRPO、固定惩罚和UARM式重加权，报告真实奖励、区间校准及各组有效梯度。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #32

RLHF两大基础问题：奖励模型为确定性点估计无法表示预测不确定性，GRPO对奖励进行均匀处理放大不可靠信号。提出UARM框架，通过分位数共形预测赋予奖励模型校准不确定性，异方差方差分解重加权GRPO优势函数。在HelpSteer/UltraFeedback/PKU-SafeRLHF上显著提升对齐质量。