DynamicPO: Dynamic Preference Optimization for Recommendation

一句话直觉

推荐任务里更多负样本未必更好，关键是让边界附近的负样本真正产生梯度。

先理解问题

多负样本推荐看似能提供更丰富监督，但训练损失持续下降时推荐质量可能反而变差。大量容易识别的负项会压制真正决定偏好边界的负项，使损失数值与边界学习脱节。

方法如何工作

DynamicPO包含两部分：Dynamic Boundary Negative Selection优先挑选边界附近的有信息负项；Dual-Margin Dynamic beta Adjustment根据边界歧义逐样本调整优化强度。先改变参与比较的负项，再改变它们产生的更新力度，分别处理“学什么”和“学多强”。

放回偏好对齐的地图

普通成对DPO只看到一胜一负，本研究面向多负项推荐目标。它与主动标注方法的区别是重点在已有隐式反馈中选负项；推荐里的未交互项也未必是真负例，需要注意曝光偏差。

阅读边界

摘要报告的轻量开销不能替代端到端成本比较。应检查负项池规模、难负例是否含假负例，以及动态beta与温度/正则强度在具体公式中的作用，避免把所有beta解释成同一种参数。

自测与动手

1. 为什么容易的负样本很多时，平均损失可以很好看而边界仍很差？
2. 边界负项选择与仅选择最高损失样本有何潜在区别？

**小实验（自学设计）：**固定正项和总计算量，逐步扩大负项池，比较随机、多负项、边界选择和联合动态beta；同时记录推荐指标、边界负项梯度占比和假负例比例。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。