Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence

一句话直觉

跨模态配对正确不代表两种模态的整体表示分布也贴合，需要同时对齐局部语义与全局分布。

要解决什么，怎样做

CS-Aligner把Cauchy-Schwarz散度与互信息目标结合。InfoNCE保留图像与文本之间的配对语义，CS散度衡量模态分布差异，两项发挥互补作用。分布级目标还能接纳未配对的数据和token级表示。学习重点是“每张图对应哪句话”与“图像云和文本云整体形状是否接近”并非同一问题。

和已有方法的区别

这篇主要研究视觉语言表征对齐，不能直接等同于基于人类偏好的LLM安全对齐。它和分布偏好优化共享“整体分布”的视角，但监督对象、概率空间和评估任务都不同。

阅读边界与局限

全局分布重合不保证逐样本语义正确，因此不能删除配对目标只保留分布距离。散度估计受样本数、核选择等实现因素影响，摘要不足以判断任意数据规模的稳定性。

自测

1. 把文本标签随机打乱，图像与文本的边缘分布为什么可能不变？
2. 既然分布项能用未配对数据，为什么仍需要语义配对监督？

小实验（自学设计）

在二维合成图文特征上构造“边缘分布相同但配对错位”的情况，分别优化配对项、分布项和联合项。观察整体云团距离与正确检索率，避免把几何重合误当语义对齐。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。2025为预印本首发，正式会议为ICLR 2026。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #29

提出CS-Aligner框架，将Cauchy-Schwarz (CS)散度与互信息(InfoNCE)相结合实现分布级视觉-语言对齐。核心思路：(1)InfoNCE保留细粒度成对语义关系；(2)CS散度显式建模并最小化视觉与语言模态的全局分布差异；(3)两者互补——InfoNCE对齐个体样本对，CS散度对齐整体分布，解决InfoNCE固有的对齐-均匀性冲突；(4)框架天然支持无配对数据和token级表示的使用，实现更灵活精细的多模态对齐。