Efficient Exploration for Iterative Nash Preference Optimization

一句话直觉

当偏好可能循环时，用博弈目标学习还不够，还要显式探索未覆盖的回答。

先理解问题

标量奖励假定能够给回答排一个一致顺序，但群体偏好可能像石头剪刀布一样非传递。NLHF以偏好博弈和纳什均衡建模这种结构；然而容易实现的迭代策略更新不一定有足够探索，理论代价可能很差。

方法如何工作

论文指出标准迭代NLHF可能对KL正则参数产生指数依赖，并通过SFT式正则结合对抗策略探索来修复。显式探索算法保持直接策略优化结构，不必先拟合完整偏好模型；在其理论条件下获得平方根时间量级遗憾界，若有minimax oracle还能改善速率。

放回偏好对齐的地图

DPO通常借助Bradley-Terry标量效用差，本工作针对更一般的偏好博弈。这里的遗憾衡量在线决策累积损失，不能直接等同于某个LLM基准胜率，理论oracle也不是免费的工程组件。

阅读边界

需检查偏好访问方式、策略类、探索分布和正则参数假设。显式探索可能增加生成或标注成本，应在同等反馈预算下讨论收益；通用偏好理论并不自动适用于任意近似神经训练。

自测与动手

1. 为什么存在循环偏好时，寻找一个永远最高分的回答可能不合理？
2. 只从当前最喜欢的答案附近采样，会如何掩盖能够击败它的候选？

**小实验（自学设计）：**构造三个回答的循环偏好矩阵，对比纯迭代更新和显式探索；画策略概率、经验遗憾和最坏对手可利用度，再改变KL强度观察覆盖是否消失。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #15

研究在线迭代Nash偏好优化的学习理论：证明标准迭代NLHF对KL正则化参数存在指数依赖，揭示隐式探索不足。提出显式探索迭代NLHF算法，结合SFT正则化与对抗策略探索，保持直接策略优化结构、无需显式偏好模型估计，实现O(√T)遗憾界且无指数KL依赖。在Llama-3-8B-Instruct上一致超越现有NLHF基线。