REAR: Test-time Preference Realignment through Reward Decomposition

一句话直觉

模型可能会答题，却没有充分按照“简洁一点”“面向初学者”等偏好作答；测试时需要重新平衡任务与偏好的影响。

问题与机制

REAR 把偏好对齐视作 realignment：基础模型已经有能力，但对显式偏好的响应不足。作者把底层奖励分成与问题相关及与偏好信息相关的两个分量，再选择性地重缩放二者，得到 REAlignment Reward。其重要结果是这个奖励能写成 token 级策略对数概率的线性组合，因此可以接入 best-of-N 或树搜索等测试时扩展方法，而不要求为本次偏好重新训练模型。

与普通采样的关系

多采样只是增加候选，是否更符合偏好取决于如何评分。REAR 给的是与偏好相关的选择信号；best-of-N、搜索树给的是使用信号的算法。两者要分开比较，否则可能把采样预算变大带来的收益误算给奖励设计。这里的“无需训练”不等于完全无需模型概率访问。

阅读边界

奖励分解是一种建模方式，不是人类价值天然可分的证明。问题与偏好有冲突时，重缩放系数会影响任务正确性。摘要支持数学、视觉等任务上的特定偏好设置迁移，不能据此声称它首次或全面解决不可验证任务的测试时扩展。

自测

1. 为什么问答质量高的候选仍可能在用户偏好上失败？
2. REAR 与 best-of-N 分别解决“如何打分”还是“如何搜索”？

小实验（自学设计）

对同一批问题分别附加“短回答”“给推导”等偏好，缓存相同候选池，比较任务分数排序与 REAR 排序。随后再允许额外搜索，把固定候选收益与增加计算收益分别报告，并检查任务正确性是否下降。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #50

针对LLM测试时偏好对齐问题，提出将奖励函数分解为问题相关和偏好信息两个分量，推导出重对齐奖励(REAR)作为token级对数概率的线性组合。REAR可无缝集成到best-of-N采样和树搜索等推理时扩展算法中，实现无需训练的测试时偏好重对齐，在数学和视觉任务上也有泛化能力。该工作将测试时扩展从可验证领域首次拓展到偏好对齐任务。