When Metropolis and Hastings Meet Bradley and Terry: Exact MCMC From Preference Voting

一句话直觉

人或模型裁判可以说“更喜欢哪个”，却未必给出精确分数；采样器能否只靠这种随机比较仍正确采样？

问题与机制

Pref-MH 把 Metropolis–Hastings 的未归一化目标密度比与 Bradley–Terry（BT）模型的偏好 odds 联系起来。困难在于：标准 MH 需要精确比值，而裁判每次只提供一次随机二元结果。作者构造有效接受/拒绝规则，证明所得链收敛到对应目标，并讨论固定 proposal 与预算下的 Peskun–Tierney 最优性。偏好投票是随机观测，不是精确概率。

概率直觉（教学示意）

BT 中若 $p=\sigma(u_a-u_b)$，则 $p/(1-p)=\exp(u_a-u_b)$。这说明比较概率为何能编码效用差与密度比。但单次投票不能直接当作 $p$，把一次胜负硬塞进普通 MH 接受率不等于精确算法。一般 MH 还要考虑 proposal 的正反向概率比。

与 best-of-N 的区别

best-of-N 从有限候选中选最高分；MCMC 通过反复提议与接受形成具有目标平稳分布的链。长远分布保证与有限时间混合速度是不同问题；即使每步规则正确，链也可能探索缓慢。

阅读边界

精确性依赖裁判模型及链的条件，真实人类偏好若不满足 BT 假设，需要检查结论是否仍适用。定理中的最优针对指定规则类别、proposal 和预算，不是所有可能偏好采样算法的全局效率最优。

自测

1. 偏好 odds 与一次二元投票为什么不能互换？
2. 平稳分布正确，为什么有限样本仍可能偏差很大？

小实验（自学设计）

在三状态、已知 BT 效用的系统中模拟随机比较，按原文接受规则采样，核对长期频率与目标分布。再构造循环偏好裁判，检查 BT 假设破坏后结果，分开报告正确性与混合时间。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #85

研究问题：条件生成需从带语义约束的分布采样，但生成场景无精确密度、仅有成对偏好反馈。方法：提出 Pref-MH，把 MH 未归一化密度比对齐 Bradley-Terry 选择模型的偏好 odds，用随机二元比较构造可证明收敛的 accept/reject 规则，并证其 Peskun-Tierney 最优。创新：首个只用成对偏好反馈的精确 MH 采样器。关系：BT 偏好学习与 MCMC 结合，用于 LLM/VLM 裁判驱动的条件采样（文本/分子/图像）。