Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems

一句话直觉

一次推荐反馈常给出“多个正项胜过负项”，无需强行给正项内部排次序。

先理解问题

把多个点击项拆成独立DPO对，会重复计算并丢失集合结构；直接使用完整排序的Plackett-Luce模型，又需要对所有与观测一致的正项排序求和，复杂度随正项数快速增长。

方法如何工作

Mult-DPO在相同奖励权重空间构造multinomial集合事件代理：独立抽取若干次，每个正项恰出现一次且没有负项。其似然可高效计算，代入策略/参考比后得到分类式DPO目标。论文证明该代理似然是边缘PL事件似然的下界，因此对应负对数损失是上界，并分析正负总权重如何影响紧致性。

放回偏好对齐的地图

这不是直接拟合一个完整排序分布，也不是把PL精确分解为普通成对DPO。原清单此处表述不准确，应该以可计算的集合事件代理理解；多层偏好扩展允许不同层之间有序、层内无序。

阅读边界

把未交互项当负项有曝光偏差；代理上界也不保证每个候选集合都同样紧。评价应检查正项数量、负项难度和推荐任务中的真实反馈结构。

代理关系摘记（原文第3节）

$$p_{\mathrm{MN}}(\Omega)\le p_{\mathrm{PL}}(\Omega)\quad\Longrightarrow\quad -\log p_{\mathrm{MN}}(\Omega)\ge-\log p_{\mathrm{PL}}(\Omega).$$

$\Omega$指正项集合胜过负项集合的事件，不是一条指定的完整排序。

自测与动手

1. 两个正项三个负项的集合观测，究竟允许多少种正项内部排序？
2. 为什么似然下界取负对数后变成损失上界？

**小实验（自学设计）：**在五个候选的小例子中枚举PL所有允许排序，计算精确集合概率，再与multinomial代理比较；改变负项权重检查界的松紧，最后再比较训练效率。

来源与阅读范围

论文原文。已对照全文第2.2节及第3.1—3.4节；这份笔记聚焦这些章节，并未独立复现实验。

**核验补充：**纠正原清单：Mult-DPO使用集合事件的multinomial surrogate，并非直接建模完整PL排序。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #18

提出Mult-DPO将DPO从二值偏好扩展到推荐系统的多项候选偏好建模。标准DPO仅处理win/lose二值比较，Mult-DPO引入多项分布对候选集中的完整排序进行建模，利用Plackett-Luce分解将排序似然分解为逐步成对比较。在排序质量和偏好覆盖度上优于二值DPO基线，为推荐系统偏好优化提供更丰富的信号。