PAPA: Online Personalized Active Preference Alignment

一句话直觉

要替一个新用户生成喜欢的内容，不一定先收集成千上万条偏好训练奖励模型；可以边互动边调整生成器。

问题与机制

PAPA（Personalized Active Preference Alignment）面向扩散模型的在线个性化。目标由拟合整体数据分布，转向找到用户偏好的局部区域；偏好起初未知，通过交互逐步揭示。PAPA 受变分推断启发，直接利用实时用户反馈优化扩散模型，绕过单独参数化奖励模型的需求。摘要还给出计算更省的 EPAPA 微调策略，并在类别条件与细粒度对齐任务中验证。

与离线 DPO 的关系

离线 DPO 通常使用提前收集的一批偏好，PAPA 把用户反馈和模型更新放进循环，因此数据分布也随着当前策略改变。主动与个性化是两个不同轴：前者关心问什么更有信息，后者关心对齐谁；理解方法时应确认两个模块分别怎样实现。

阅读边界

不训练奖励模型，不等于不训练生成器，也不等于互动没有代价。用户反馈预算与模型微调预算应分别计量。短期点击偏好可能与长期满意度不同，个性化也可能过拟合少量交互。摘要没有给出对所有用户偏好都能恢复的普遍保证。

自测

1. 去掉参数化奖励模型后，监督信号仍然从哪里来？
2. 在线策略变了，为什么后续收集到的偏好数据也会变？

小实验（自学设计）

用可控制的模拟用户定义两种不同审美偏好，比较随机提问、主动反馈与离线训练。固定用户回答次数，同时报告计算时长和未见提示词上的满意度，检查模型学到的是稳定个人偏好还是只记住交互样本。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #64

提出个性化主动偏好对齐方法PAPA，绕过参数化奖励模型，直接通过实时用户反馈优化扩散模型。借鉴变分推断框架，实现反馈高效的偏好对齐。提出增强版EPAPA，降低计算预算并加速微调。在类条件生成和细粒度对齐任务上验证有效性。为无法获取大规模偏好数据的个性化场景提供了实用方案。