Active Reward Modeling: Adaptive Preference Labeling for Large Language Model Alignment

一句话直觉

有价值的比较既要覆盖新的表示方向，也要让两项差距足够有信息，Fisher信息可以连接这两点。

要解决什么，怎样做

ARM-FI把经典实验设计中的Fisher信息应用到深度奖励模型最后的线性层，用来挑选值得标注的响应对。理想查询平衡表示空间探索和适中的奖励差异：明显悬殊的一对可能容易判断却提供有限新信息，几乎相同但充满噪声的一对也未必有益。作者还检查跨提示比较对标注效率的影响。

和已有方法的区别

和只按当前得分差排序相比，信息矩阵记录已观察方向，能避免重复问同一种问题；和全模型二阶计算相比，最后一层近似降低成本。它主要优化奖励学习的数据获取，不等于直接优化最终策略。

阅读边界与局限

最后一层信息量只能反映所用表示，表示本身漏掉的关键因素不一定会被发现。跨提示比较还需要可比的评价标准，不能把不同任务的原始分数随意混在一起。

自测

1. 两对响应得分差相同，为什么Fisher信息价值仍可能不同？
2. 为什么重复询问同一语义方向会出现边际收益下降？

小实验（自学设计）

冻结一个嵌入模型，仅训练线性BT奖励头，比较随机、中间间隔和信息矩阵选择。用相同标注预算画学习曲线，并统计查询方向的覆盖；加入跨提示组时独立检查评分可比性。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。正式标题使用Large Language Model而非LLM，已按ICML 2025记录更正。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #49

提出基于Fisher信息的主动奖励建模(ARM-FI)。核心方法：(1)Fisher信息选择策略——将经典实验设计理论中的Fisher信息概念应用于偏好对选择，量化每个候选比较对的信息量；(2)最后一层应用——将Fisher信息选择仅应用于深度奖励模型的最后一层线性层，兼顾计算效率与信息捕获；(3)双目标平衡——通过Fisher信息同时平衡表示空间探索（多样性覆盖）和信息量比较（中等奖励差距的对最具学习信号）；(4)跨提示比较——消融实验证明跨提示比较显著提升标注效率。在多个开源LLM和数据集上超越其他选择方法。