PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration

一句话直觉

每个人打分尺度不同，少量个人数据应适度向群体平均收缩，而非完全混成一个平均评分者。

先理解问题

同样的奖励分数，对严格和宽松的标注者可能有不同含义。全局仿射校准把个人的截距与斜率差异压成一组参数；完全独立地给每人拟合又会在个人样本很少时过拟合。

方法如何工作

PEBS先用每位标注者的保留评分拟合个人仿射校准器，再通过经验贝叶斯收缩向总体均值靠拢。样本证据与群体信息共同决定个人映射；方法以闭式后处理实现，不重新训练奖励骨干，目标是改进新评分的个体尺度预测。

放回偏好对齐的地图

它解决的是评分刻度校准，不等于发现每个人所有真实价值偏好。若两人对内容本身的排序相反，单纯改变斜率和截距未必足够；与MoE个性化建模的表达范围不同。

阅读边界

需要已知标注者身份及其历史评分，匿名纯二元数据不直接满足同样条件。评价时必须在同一用户内部留出测试数据，防止把拟合样本上的RMSE改善误当泛化。

个体校准（教学示意）

$$\widehat r_i=a_i r+b_i.$$

$i$表示评分者；PEBS对个体参数进行经验贝叶斯收缩。此式仅示意仿射映射，不能代替原文闭式收缩估计。

自测与动手

1. 为什么少样本个人参数需要比多样本个人参数更强收缩？
2. 如果用户对两类任务的评分偏好不同，一个全局个人仿射映射可能遗漏什么？

**小实验（自学设计）：**模拟严格、宽松和少样本评分者，比较全体共享、每人独立与经验贝叶斯校准；按每人训练样本数分桶报告留出RMSE，检查收益是否集中于少样本群体。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #37

研究RLHF中奖励模型校准问题：传统方法将所有标注者偏好压缩为单一全局仿射校准器，忽略了个体评分尺度差异。PEBS提出逐标注者经验贝叶斯收缩估计器——在每位标注者的保留评分切片上拟合仿射校准器，并用Morris-James-Stein经验贝叶斯收缩向群体均值，以闭式解实现，无需重新训练奖励模型。在PRISM上降低用户内RMSE 8.58%，PluriHarms降低9.66%。该方法作为即插即用的后处理估计器，显著提升了RLHF的奖励校准精度。