Gradient-Guided Reward Optimization for Inference-time Alignment

一句话直觉

发现生成轨迹可能偏离时，用奖励梯度给一点局部引导，而不只是生成很多答案再重排。

先理解问题

Best-of-N和拒绝采样只能从已有候选中选较好结果，既消耗采样预算，也受基础生成分布覆盖限制。反复挑选奖励高的候选，还可能强化奖励模型漏洞。

方法如何工作

GGRO监测token级熵，将高不确定性区域作为可能需要干预的信号，再根据现成奖励模型的梯度生成nudging tokens，轻推后续解码轨迹。重点是有选择地改变生成过程，而非对每一步都施加强引导。

放回偏好对齐的地图

与训练时DPO相比，它在推理时调整输出，不必为每个新任务重新微调策略；但仍使用奖励模型，不能归为完全无奖励信号的方法。与普通重排相比，需要评估是否真正扩大高质量输出的覆盖。

阅读边界

高熵可能意味着合理多样性，并不必然是错误或漂移；低熵也可能坚定地生成错误内容。应检查熵阈值、干预频率、奖励梯度偏差，以及延迟与最终质量的权衡。

自测与动手

1. 为什么把熵当作报警信号与把熵当作错误概率不是同一回事？
2. 如果奖励模型偏好冗长表达，局部梯度引导仍可能怎样失效？

**小实验（自学设计）：**固定总推理预算，比较原解码、Best-of-N、始终引导和熵触发引导；记录干预次数、延迟、任务正确率与独立judge结果，并单列高熵但正确的样本。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #20

针对推理时对齐方法（Best-of-N、拒绝采样）受限于基础模型生成质量和易受奖励攻击的问题，提出梯度引导奖励优化(GGRO)。通过监控token级熵检测分布漂移或不对齐区域，注入由奖励模型梯度信号生成的「轻推token」来引导生成轨迹，而非仅重排序。在安全、有用性和推理基准上一致改善推理时对齐，提升高质量响应覆盖率，计算开销极小。被UAI 2026接收。为RLHF推理时阶段提供了轻量级梯度干预新范式。