Optimizing Visual Generative Models via Distribution-wise Rewards

一句话直觉

若每张图都朝同一个评分最高的模板靠近，单张分数可能上涨，整批图却越来越像；奖励也需要看到样本之间的分布。

问题与机制

本文用 distribution-wise rewards 微调视觉生成模型，评价一组样本的分布，而不只独立评价每张图。为避免每次重算整个参考集合的高成本，作者提出 subset-replace：只更新生成参考集的一小部分，由替换前后的分布变化提供高效奖励信号。还把 RL 用于后处理模型合并系数的优化，尝试减轻为 RL 引入 SDE 导致的训练与推理不一致。集合分布质量成为优化信号的一部分。

与普通奖励微调的差别

逐样本可加奖励可由独立样本直接估计，分布级指标通常具有样本间耦合，单张图的价值会取决于集合里已经有什么。它与“多个奖励加权”不同：后者仍可能逐样本计分，前者改变了评价的单位。

阅读边界

原文摘要确有 SiT、EDM2 的 FID 改善报告，但这些具体实验不应外推到任意提示词和审美任务。分布指标变好不自动等于每个用户更满意，参考集合构成及样本量也会影响估计。subset-replace 的替换规模、估计方差与缓存刷新频率需要正文核对。

自测

1. 为什么同一张图放进不同集合里，可能得到不同的分布奖励贡献？
2. 分布奖励与多目标逐样本奖励，分别在哪个维度改变了问题？

小实验（自学设计）

用二维多峰生成器比较逐样本高分奖励和集合覆盖奖励，固定生成与评分次数。观察奖励、模式占有率和分布距离；随后缩小替换子集，测估计方差，检验降低计算是否损害少数模式的可见性。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #66

**针对视觉生成模型RL微调中的奖励黑客问题，提出分布级奖励替代逐样本奖励函数。**通过子集替换策略高效估计分布级奖励信号，避免所有样本独立朝同一方向优化导致的模式坍塌。同时将RL应用于后验模型合并系数优化以缓解SDE训练-推理不一致。

---

研究想法 #78

**做法总结：**针对视觉生成模型RL微调中的奖励黑客问题，提出分布级奖励替代逐样本奖励函数。通过子集替换策略高效估计分布级奖励信号，避免所有样本独立朝同一方向优化导致的模式坍塌。同时将RL应用于后验模型合并系数优化以缓解SDE训练-推理不一致。SiT上FID从8.30降至5.77，EDM2从3.74降至3.52。ICML 2026正会论文。