Nash Learning from Human Feedback

一句话直觉

当偏好无法压缩成每个回答的一个固定分数时，可以直接寻找在成对比较博弈中稳健的策略。

要解决什么，怎样做

NLHF先学习给定提示下两个回答的偏好概率，而不是独立给每个回答一个标量奖励。随后让策略面对任意竞争策略，追求正则化的纳什均衡。Nash-MD用镜像下降构造策略序列，论文在表格表示下分析最后一次迭代的收敛，并探索深度模型实现。关键直觉是偏好可能有循环，因此“全局最高分回答”未必是合适的建模起点。

和已有方法的区别

传统BT奖励模型把比较概率写成两个分数之差；一般偏好模型可以直接依赖回答对，表达力更强。纳什策略可能是混合分布，其目标不是对某一个固定对手刷出最高胜率。

阅读边界与局限

偏好模型仍会受标注噪声与分布外比较影响；博弈建模不会消除反馈质量问题。表格形式的理论结果也不能直接当成大语言模型参数优化的全局保证。

自测

1. 用石头剪刀布解释为什么标量排序表达不了所有偏好。
2. 一个策略击败参考模型，为什么仍可能远离纳什均衡？

小实验（自学设计）

构建三种回答风格的循环偏好矩阵，比较最大平均奖励选出的单一风格与镜像下降学到的混合策略。逐个更换对手，观察最坏胜率，并加入KL正则看看混合比例如何改变。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发于2023年；此处年份采用2024会议版本。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #5

将RLHF建模为一个双人博弈，其中策略寻求针对所有可能响应的纳什均衡，而不是优化标量奖励。通过直接处理偏好概率，避免了奖励模型偏差。