ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration

一句话直觉

奖励微调后生成器总画同一类图，不一定是其他能力被完全删掉；可能只是它们很难再被采样出来。

问题与机制

ReNFT 研究已发生坍缩的高奖励 adapter 修复。作者认为在线后训练主要重新分配预训练能力上的概率质量，并用内部概率质量重校准恢复被抑制模式。流程包括无条件探针定位 anti-hub prompts；从相同提示和初始噪声构造两条由策略主导的混合路径，分别探测冻结基础方向与后训练无条件倾向；再按带自适应翻转保护的奖励排序确定 pull/push，并联合 NFT 更新。修复目标是保留已得奖励的同时恢复 prompt 内多样性。

与预防坍缩的区别

参考正则或分布奖励多用于阻止训练时失去覆盖，ReNFT 强调修复已经坍缩的适配器。内部反事实让比较共享 prompt 和噪声，有助于定位路径差异；它不等于随便从基础模型混入更多图。

阅读边界

原文摘要在 PickScore 设置报告保留 98.9% 奖励、DreamSim-Div 提升 58.8%，这是特定基线与指标上的相对实验结果，不是所有质量指标提高同一比例。更多差异也可能包含噪声，应同时看忠实度和视觉质量。抑制而非删除是作者在研究设置中提出的机制解释。

自测

1. 能力尚存但概率被压低，与能力本身丢失，有什么可观察差别？
2. 为什么比较反事实时共享提示和初始噪声很重要？

小实验（自学设计）

先把一个小生成器微调到高分低多样性，再比较基础混合、外部多样性正则与内部修复。固定同 prompt 的多个种子，分别评估奖励保留、模式覆盖和配对视觉差异，排除以失真换取“多样性”。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #86

研究问题：扩散生成器奖励后训练把概率质量集中到少数奖励偏好的模式，抹除 prompt 内多样性。方法：发现坍缩是「抑制而非删除」，提出 ReNFT，用无条件探针找 anti-hub prompt + 策略主导混合路径构造反事实 + 联合 NFT 更新做内部概率质量重校准。创新：从生成器内部修复已坍缩 adapter 且保留奖励。关系：扩散模型奖励对齐，DreamSim 多样性 +58.8% 而奖励保留 98.9%。