Diffusion Policy Optimization without Drifting Apart

一句话直觉

扩散策略优化的代理似然若越学越松，策略梯度也会跟着偏；要同步维持代理的紧致性。

先理解问题

扩散模型通常难以直接计算真实对数似然，因此RL常依赖ELBO等变分代理。训练时代理与真实似然可能分离，继而让基于代理的梯度偏离真实期望回报的梯度，这比普通奖励噪声多了一层误差。

方法如何工作

DiPOD将这种现象称为double drift，通过交替自蒸馏与策略改进，并在扩散策略梯度更新中加入on-policy ELBO正则，努力维持紧界行为。需要分别理解“优化目标是否有利”和“用于计算该目标的代理是否仍可靠”。

放回偏好对齐的地图

它修复的是扩散策略梯度的估计基础，不是自动获得无需奖励的偏好监督。原清单称其“无需奖励模型”容易误导：算法可以使用不同奖励来源，但政策改进仍要定义回报。

阅读边界

ELBO更紧不代表奖励模型更准确；代理误差与奖励错设是两种独立风险。阅读实验时应检查自蒸馏频率、on-policy样本成本及语言扩散与连续控制设置之间的差异。

自测与动手

1. 为什么一个永远合法的下界，也可能在优化后提供误导性的梯度？
2. 保持ELBO紧致能解决奖励模型偏爱捷径的问题吗？说明原因。

**小实验（自学设计）：**在能近似计算真实似然的玩具扩散策略中，对比无正则和on-policy ELBO正则；同时记录界间隙、真实/代理梯度余弦和真实回报，判断稳定性提升来自哪一层。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

**核验补充：**纠正原清单：本文处理ELBO代理与策略梯度的双漂移；不能由摘要推出算法不需要任何奖励信号。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #22

针对扩散策略RL后训练中变分代理(ELBO)与真实对数似然「双漂移」导致策略梯度失准的问题，提出DiPOD框架——交替自我蒸馏与策略梯度更新，通过on-policy ELBO正则化维持紧致绑定。在扩散语言模型后训练和连续控制任务上显著稳定训练、提升奖励。为扩散生成模型偏好优化提供无需奖励模型的稳定策略梯度方案。