Don't Forget Its Variance! The Minimum Path Variance Principle for Accurate and Stable Score-Based Density Ratio Estimation

阅读顺序 110 · 密度比基础 · 已核验摘要

阅读原文 ↗
来源与核验

已核验原始摘要或官方论文记录;非全文精读。已核验2026预印本摘要;本笔记不据清单直接确认ICLR录用状态。

原清单位置:密度比论文表 #7 · 整理于 2026-10-30

本篇目录
  1. 一句话直觉
  2. 要解决什么,怎样做
  3. 和已有方法的区别
  4. 阅读边界与局限
  5. 自测
  6. 小实验(自学设计)
  7. 来源与核验

一句话直觉

理论上路径无关的密度比积分,在有限模型和有限样本下仍会受路径方差影响,路径也值得学习。

要解决什么,怎样做

论文研究score-based密度比估计中“理论路径无关、实际高度依赖路径”的现象,指出可计算训练目标与理想目标之间遗漏了time score的路径方差项。MinPV给出方差的可处理表达,并通过灵活的Kumaraswamy混合路径参数化学习低方差路径。

平滑正密度下的教学恒等式为

$$\log\frac{p_1(x)}{p_0(x)}=\int_0^1\partial_t\log p_t(x)\,dt.$$

精确积分的端点恒等式,并不保证学出来的积分估计器也具有相同误差。

和已有方法的区别

它关注密度路径与估计方差,不只是换一个更大score网络。和仅按直观设计线性或几何路径相比,方法把路径当成数据自适应的可优化对象。

阅读边界与局限

低代理方差未必解决模型错设或支撑覆盖。路径学习自身也可能过拟合,应在保留样本上评估估计误差、方差和训练稳定性;摘要中的最佳结果限于所测试基准。

自测

  1. 一个恒等式与用有限样本估计它的统计性质,有何区别?
  2. 两条路径积分真值相同,为什么训练难度和数值方差可以不同?

小实验(自学设计)

在可解析的一维分布间构造两种插值路径,固定样本和网络预算估计time score。多次重训比较log-ratio误差与方差,再尝试简单路径参数搜索,验证路径选择确实影响有限样本表现。

来源与核验

已核验原始论文摘要或官方论文记录,以上是导读级自学笔记,尚未逐节复核全文证明与实验。已核验2026预印本摘要;本笔记不据清单直接确认ICLR录用状态。

原论文或作者官方来源。本地研究清单提供了补充摘录;自测、小实验及分析性提醒为学习设计,不是论文报告的结果。