LeanPO: Lean Preference Optimization for Likelihood Alignment in Video-LLMs

一句话直觉

视频偏好优化不能只看赢家比输家高多少，还要检查两个回答的生成可能性是否一起下降。

要解决什么，怎样做

LeanPO研究从语言到视频语言模型中的likelihood displacement：chosen和rejected的对数概率都可能下降，间隔却仍扩大。视频冗余和复杂性会加剧这种现象。方法采用无参考模型的平均响应似然作为隐式奖励，结合与可信度相关的自生成偏好数据流程，以及动态标签平滑，减少噪声细节引起的过拟合。

和已有方法的区别

与标准DPO使用策略/参考策略比值不同，LeanPO重新定义奖励统计量并改变数据生成机制。它处理的是Video-LLM回答可靠性，不要与视频扩散生成器的像素空间偏好优化混为一谈。

阅读边界与局限

平均似然的长度处理、视频帧采样和标签平滑都会影响结果。摘要报告多模型收益，但并未证明平均似然在任意数据上都能消除概率下降，应把chosen绝对概率列为独立诊断。

自测

1. chosen概率下降时，DPO损失为什么仍可能改善？
2. 视频内容冗余怎样通过偏好数据影响模型学习？

小实验（自学设计）

对同一视频加入重复帧或无关帧，保持问题和答案不变。比较不同目标训练时chosen/rejected平均对数似然、幻觉率及视频证据敏感性，检查方法是否只依赖语言先验。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。正式标题不同于清单的“Reliable Video-LLM Alignment”，已按原文更正。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #23

这项研究介绍了一种名为 LEANPO 的新型视频大语言模型（Video-LLMs）对齐框架，旨在解决传统直接偏好优化（DPO）在处理复杂视频内容时出现的“似然偏移”问题。研究人员发现，现有的优化方法往往会导致模型对目标回答的生成概率意外下降，因此他们重新构建了隐式奖励机制，将其定义为模型生成响应的平均似然度。为了提升训练效率，该框架设计了一个关联奖励与可信度的自生成偏好数据流水线，通过引入先验知识和自我反思机制来产出高质量的对比数据。此外，为了应对视频数据中的冗余信息，模型还引入了动态标签平滑策略以增强鲁棒性。实验证明，LEANPO 在多个主流视频理解基准测试中显著提升了模型性能，减少了幻觉现象，同时保持了较低的训练成本。总而言之，这项工作为构建更高效、更可靠的多模态视频对齐系统提供了一种简洁且通用的解决方案。