Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow

一句话直觉

一步生成器很快，但直接追奖励容易把分布拉坏；先从“整个概率分布怎样平滑移动”来设计更新，可能更稳定。

问题与机制

本文把从噪声到数据的一步生成器放到最优传输视角，用 Wasserstein Gradient Flow（WGF）描述概率空间中的受控演化，并导出实际奖励引导微调方法。摘要强调不需要奖励梯度，因此可同时处理可微与不可微奖励，并在二维数据、CIFAR-10 与 ImageNet 上评估多种目标。概率空间里的梯度流，不等于直接对奖励网络做输入梯度上升。

与多步扩散微调的区别

一步模型没有长采样链可逐步引导；更新必须最终落实到一次前向映射。WGF 提供分布演化原则，但将理想分布变化映射为有限参数模型更新仍有近似。学习时应画出奖励评估、样本分布更新与生成器拟合之间的依赖，确认梯度实际流过哪些模块。

阅读边界

无需奖励梯度不意味着完全不需要梯度或训练，神经网络参数仍须优化，黑箱奖励查询也有代价。分布更新平滑不自动保证人类偏好正确；JPEG 可压缩性等奖励容易偏向特定纹理，应检查奖励外质量。摘要报告缓解坍缩，不是无条件消除。

自测

1. 黑箱奖励不可微，为什么仍能对生成器参数进行训练？
2. 概率分布的理想演化与有限模型可表示的更新，有何区别？

小实验（自学设计）

在二维混合分布上使用不可微分区奖励，对照直接奖励优化与 WGF 思路的微调。固定奖励查询数，画出各模式质量、覆盖度和运输距离；再换成误设奖励，检查平滑更新是否仍会逐渐追向错误目标。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #88

研究问题：一步生成模型（噪声到数据单次前向）的奖励引导微调鲜有探索。核心方法：从最优传输视角用 Wasserstein 梯度流（WGF）建模概率空间的平滑受控分布演化，提出无需奖励梯度的奖励引导微调（兼容不可微与可微奖励）。创新：WGF 视角的奖励对齐，缓解奖励黑客与模式坍缩。关系：生成模型奖励对齐；2D/CIFAR-10/ImageNet-256 及 JPEG/类别概率/CLIP 对齐等奖励上优于基线。