PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

一句话直觉

模型能把话说得更像好答案，却没有认真看图，视觉问答仍会产生幻觉；对齐需要让图像变化真正影响判断。

问题与机制

PEA-DPO 通过表示分析指出 visual insensitivity：完整图像与去掉关键视觉上下文的图像，在模型判断中可能难以区分。论文进一步区分 Across-Image 与 Within-Image 两类表现，并在偏好优化中显式利用视觉偏好信号，增强对关键上下文的敏感性。摘要同时报告理论缓解与多种规模模型、三个幻觉基准上的经验检验。语言上更像正确答案，不等于使用了正确视觉证据。

与普通多模态 DPO 的差别

若胜负对主要由答案文字差异驱动，模型可能只学会措辞和拒答模式。这里的重点是让图像上下文本身进入偏好监督，而不只是把视觉编码器接到原 DPO 上。阅读正文时应特别确认图像干预如何构造、标签如何确定，以及是否保持问题可回答。

阅读边界

视觉敏感性高也不自动等于识别正确：模型可能对无关像素过敏，也可能利用图像编辑伪影。理论保证针对论文形式化的失效模式，不是全面消除幻觉。摘要说保持语言建模能力，具体仍应核查一般语言与视觉任务的权衡。

自测

1. 移除关键对象后答案不变，什么时候是失敏，什么时候只是问题与该对象无关？
2. 如何排除模型只是识别了遮挡或编辑伪影？

小实验（自学设计）

为同一问题准备原图、关键区域移除、无关区域移除三种图像，人工核对答案变化。比较普通 DPO 与视觉偏好增强，并用不同编辑方式测试，记录正确敏感性与无关干预误报率。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #82

研究问题：DPO 在多模态场景的适配尚缺研究，表征分析发现"视觉不敏感"——模型难以区分图像与移除关键视觉上下文后的图像。方法：理论揭示跨图像与图像内不敏感两种表现，提出 PEA-DPO 显式利用视觉偏好信号克服视觉不敏感。创新：给出可证明缓解两种失效模式的理论保证。关系：把 DPO 对齐引入多模态，三个幻觉基准上显著降低幻觉、强化多模态对齐。