On Preference Learning Based on Sequential Bayesian Optimization with Pairwise Comparison

一句话直觉

不要求用户给绝对分数，而是反复问最能减少未知偏好的二选一问题。

要解决什么，怎样做

这篇工作把用户和学习代理看成两个互动子系统：用户有潜在的参数化偏好函数，代理维护贝叶斯信念，每轮提出两种方案并用选择更新信念。方法从预测用户回答的不确定性出发设计查询策略，以KL相关的remaining system uncertainty衡量学习程度。它不需要把当前猜测的最优值当成真实答案，更适合难以提供绝对评分的场景。

和已有方法的区别

这里的目标首先是高效识别用户偏好，不是训练一个语言模型。它可以作为ActiveDPO等工作的前置阅读，帮助区分“找当前最好方案”和“问最有信息的问题”这两个不同目标。

阅读边界与局限

参数化用户模型若与真实偏好不符，低模型内不确定性也可能只是自信地犯错。真实用户会疲劳、改变标准，二元选择并不保证无噪声。

自测

1. 为什么始终拿当前最优方案做比较，可能学得很慢？
2. 没有真实偏好函数时，能用哪些预测指标检查学习是否有效？

小实验（自学设计）

设一个二维偏好峰值，模拟带噪二选一用户。比较随机提问、追求当前高分和减少预测不确定性的提问，在相同查询次数下记录参数误差与下一次选择预测准确率。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。2021为预印本首发；期刊版发表于Artificial Intelligence 348（2025）。清单把预印本年份和期刊信息放在同一行，需区分。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #14

本文提出了一种新颖的主动偏好学习方法，该方法将序列贝叶斯优化与成对比较相结合。文中提出了一种基于熵的获取函数，用于量化系统对用户偏好的剩余不确定性。该方法能够高效地识别信息丰富的成对比较，从而最大限度地减少准确学习用户偏好所需的查询次数。