Density-ratio matching under the Bregman divergence: a unified framework of density-ratio estimation

一句话直觉

如果最终只需要两个分布的比值，就直接估计这个比值，避免先分别学习两个更难的密度。

要解决什么，怎样做

论文用Bregman散度统一密度比估计，并讨论已有方法及基于power divergence的鲁棒实例。设目标为$r^*(x)=p(x)/q(x)$，需要先确认分母在目标分布支撑上非零。

下面是平方势函数下的教学推导，不是全文公式编号：

$$\frac12\mathbb E_q[(r_\theta-r^*)^2]=\frac12\mathbb E_q[r_\theta^2]-\mathbb E_p[r_\theta]+C.$$

因为$\mathbb E_q[r_\theta r^*]=\mathbb E_p[r_\theta]$，可用分别来自$p,q$的样本估计可优化部分，而不必知道两者的归一化密度。

和已有方法的区别

普通密度估计先学$p$与$q$再相除，会叠加估计误差；直接比率学习把目标集中在后续真正需要的统计量。Bregman统一视角说明损失的选择对应不同几何，而不是只有一个固定的分类器配方。

阅读边界与局限

分布支持不重叠时比值可能极大甚至无定义，直接估计不会神奇消除这个问题。势函数选择、正值约束和正则化影响稳定性；“函数空间的凸性”也不等于神经参数优化全局凸。

自测

1. 上式中的$C$为什么与$\theta$无关？
2. $q$几乎不采到但$p$常出现的区域，为什么是高方差来源？

小实验（自学设计）

用两个一维高斯分布生成样本，比较分别拟合密度再相除与直接最小化平方比率目标。逐步拉远均值，画真实比率、估计误差和极端权重比例，观察支撑覆盖恶化。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。期刊卷年为2012，在线发表于2011。该期刊官方链接目前提供摘要页，故标摘要核验，不标全文精读。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。