Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

一句话直觉

不让另一个老师告诉生成器下一步怎么走，而是让它试几条分支，用最终反馈比较这些分支，再回头改进当前方向。

问题与机制

Self-OPD 针对 flow matching 的 on-policy distillation。每个时间步先有确定性下一状态预测，再分出 $K$ 个 SDE 随机候选，用 ODE 采样完成 rollout；把候选奖励与确定性自参考基线比较，得到归一化优势。随后以 pull-push 目标优化速度场：高优势分支吸引，低优势分支排斥，并加入方向感知衰减与 SDE 方差归一化。教师被移除，奖励反馈与多分支探索仍然存在。

多目标部分

作者在奖励层融合归一化分数，避免直接混合不同目标的梯度造成冲突。学习时区分奖励量纲归一化、优势基线以及优化方向控制：它们解决的问题不同，不能都用“稳定训练”概括。

与 DPO 的联系

DPO 使用已给定的响应胜负，Self-OPD 在当前策略轨迹上主动产生局部备选，再把终端奖励转成逐步方向信号。局部监督来自完整 rollout 的反馈，因此不能把无教师理解为几乎免费。

阅读边界

分支数提高会增加计算；奖励若有捷径，自探索也可能强化捷径。摘要支持单/混合奖励上的改进，仍需检查相同 rollout 预算与教师成本摊销方式。奖励级融合减少某类冲突，不代表多目标取舍已经消失。

自测

1. 确定性自参考基线与独立教师分别提供什么信息？
2. 增加分支数为什么可能同时改善监督并放大奖励评估成本？

小实验（自学设计）

在小 flow 模型上固定总 rollout 数，比较更多时间步少分支与更少时间步多分支。移除归一化和 pull/push 的一个方向，分别看奖励、模式覆盖、速度场变化，验证收益来自哪些部件。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #83

研究问题：OPD 依赖专用教师，训练成本高且师生分布偏差会沿轨迹累积误差。核心方法：无教师 OPD——每步将确定性预测分支为 K 个 SDE 候选，用奖励对比自参考基线得归一化优势，pull-push 优化速度场。创新：完全去教师化，并在奖励级融合多目标分数避免梯度冲突。关系：流匹配（扩散）模型的偏好/奖励对齐，以无教师方式替代 RL 与 OPD。