One-step Diffusion Models with Bregman Density Ratio Matching

一句话直觉

一步生成蒸馏可以从“匹配教师与学生的密度比”理解，不同Bregman几何给出不同训练目标。

要解决什么，怎样做

Di-Bregman把扩散与流模型蒸馏写成Bregman散度下的密度比匹配框架，目的在于统一若干既有目标并训练快速学生生成器。先把多步教师、一步学生和训练所需统计量分开：教师提供高质量分布，学生把噪声一次映射为样本，散度规定如何惩罚两者不一致。

作为背景定义，Bregman散度为

$$D_\phi(u,v)=\phi(u)-\phi(v)-\phi^{\prime}(v)(u-v),$$

其中$\phi$是可微凸函数；此式是通用定义，不是本论文全部蒸馏目标。

和已有方法的区别

它强调密度比匹配的统一理论视角，而非简单用像素回归模仿教师最终图像。也不要将该框架的凸分析误解为大型学生网络训练对参数全局凸。

阅读边界与局限

摘要报告CIFAR-10和文生图实验，并与reverse-KL蒸馏比较；精确目标实例、教师调用量和训练稳定性仍需读正文。不同散度对覆盖与高质量模式的偏好可能不同，不能只用单一FID下结论。

自测

1. 教师生成多步、学生生成一步，为什么训练成本不一定也更低？
2. 改变散度为什么可能改变模式覆盖？

小实验（自学设计）

先在双峰一维教师分布上训练一个简单学生，比较几种可计算的散度目标，记录每个峰的概率质量与样本误差。把它作为理解目标几何的教学实验，不冒充原论文实现。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。