Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

一句话直觉

奖励可以告诉生成轨迹往哪里更高分，却不一定告诉它哪里仍像真实数据；轨迹被拉向高分区时，终点可能离开预训练支持。

问题与机制

论文把这一失效称为 manifold drift。在其理论假设下，偏好更新诱导的终端位移若含非零法向分量，就可能使样本离开预训练流形。ThermoDPO 用温度控制的目标把成对优化锚在偏好样本上，在不同温度区间连接拒绝采样微调与 FlowDPO，并控制逐点重建式的流形距离代理；weighted 变体用于补偿低温信号衰减。奖励提升与流形保持是需要同时检查的两件事。

几何直觉（教学示意）

可把局部位移写成 $\Delta x=\Delta x_{\parallel}+\Delta x_{\perp}$，其中后一项偏离局部切空间。这帮助理解“法向漂移”，但有限步更新还受曲率影响，不是说去掉一个法向分量就自动获得全局安全轨迹。

与普通正则的区别

一般参考约束控制模型偏移，本文围绕连续时间运输与终端样本的几何分析失效。重建代理不是可直接观测的真实流形距离，其意义依赖建模和估计质量。

阅读边界

摘要中的 toy benchmark 与 SD3.5-M 结果支持具体设置下改善，并不证明所有奖励黑客都源于同一个机制。温度、CFG 与采样器会影响比较，复现应确保计算与超参数匹配。

自测

1. 参数更新很小，为什么仍可能沿敏感方向导致终点偏离？
2. 为什么要区分真实流形距离与训练可计算的重建代理？

小实验（自学设计）

在二维弯曲流形上训练 flow，再用奖励拉向流形外高分区。比较 FlowDPO 与锚定目标，画终点偏移的切向/法向分量、真实奖励和覆盖度，检查温度降低是否同时削弱了有效学习信号。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #81

研究问题：把偏好优化扩展到 flow matching 时，奖励驱动更新会移动运输轨迹、把终端样本推离预训练数据流形，即"流形漂移"这一奖励黑客根因。方法：提出 ThermoDPO 温控目标，把成对偏好优化锚定在偏好样本上，跨温区连接拒绝采样微调与 FlowDPO，并控点级重建代理。创新：首次形式化流形漂移机制并给出加权变体 ThermoDPO-weighted 缓解低温信号衰减。关系：为连续时间扩散偏好优化提供理论化奖励黑客治理。