NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

一句话直觉

流匹配奖励训练可能把速度范数越推越大，训练时约束这种膨胀可保护感知质量。

先理解问题

奖励上升不保证视觉质量提升。流匹配后训练中，模型每步速度场的范数相对参考模型膨胀，可能伴随奖励代理没捕捉到的伪影；训练后再在推理时简单缩放速度并不能必然修复。

方法如何工作

NormGuard使用只在当前速度范数超过参考范数时激活的hinge惩罚，可加到速度局部的基础损失上。论文还以伴随敏感性分析讨论速度幅度缩放与奖励的一阶关系，支持在训练过程中限制无益膨胀，而非等到采样时统一归一化。

放回偏好对齐的地图

与KL限制整个生成分布不同，范数约束是一种局部结构约束；与CFG推理时重缩放也不同，RL后的权重已共同适应速度变化。它约束的是幅值，不直接保证方向正确。

阅读边界

“保持奖励”是在研究的模型、后训练方法和奖励代理中观察到的，不是任意任务的定理。应检查参考速度接近零时的数值行为、时间步差异，以及少步采样收益是否以多样性为代价。

范数约束直觉（教学示意）

$$[\,\|v_\theta\|-\|v_{\rm ref}\|\,]_+,\qquad [a]_+=\max(a,0).$$

示意式只表达“超过参考才惩罚”的激活逻辑，不替代论文中完整损失的归一化、系数或期望定义。

自测与动手

1. 相同速度范数的两个速度场，为什么仍可能把轨迹带往完全不同的地方？
2. 为什么训练时约束与训练后统一缩放可能产生不同效果？

**小实验（自学设计）：**固定随机种子与提示，记录各时间步速度范数比，比较无约束、推理重缩放和训练NormGuard；同时评价奖励、独立视觉质量和多样性，再改变采样步数检查收益是否稳定。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #36

RL后训练改善流匹配生成器的奖励对齐，但常以奖励代理无法捕捉的方式降低感知质量。识别出简单结构特征：在NFT、AWM、DPO三种后训练方法中，RL微调使每步速度范数膨胀5%-15%。推理时重归一化无效（膨胀已共同适应到模型权重中）。提出NormGuard铰链惩罚——仅在速度范数超过参考范数时激活，与任何速度局部基础损失相加。两基模型、三后训练方法、两奖励代理上一致改善MLLM判断的图像质量和取证真实性，同时保持奖励。