Improving LLM General Preference Alignment via Optimistic Online Mirror Descent

一句话直觉

把一般偏好对齐当作两人博弈后，可以用带预测的镜像下降减少策略来回追逐。

要解决什么，怎样做

ONPO放弃BT标量奖励假设，直接在一般偏好构成的两人博弈中近似纳什策略。方法把optimistic online mirror descent引入迭代对齐，利用过去的信息预测更新方向；这里optimistic是在线优化技术术语，不是对奖励任意乐观打分。论文给出相应理论条件下更快的对偶间隙界，并实现语言模型实验。

和已有方法的区别

与DPO拟合固定成对数据不同，这条路线关注自博弈过程中的稳定均衡；与普通镜像下降相比，预测性更新试图降低旋转与震荡。对偶间隙衡量被竞争策略利用的程度，与单个基准胜率不同。

阅读边界与局限

优化理论通常对博弈结构和更新条件有要求，不能直接照搬为神经网络训练的全局收敛结论。偏好模型错误、有限采样和近似优化都会让实际更新偏离理想分析。

自测

1. 在循环偏好中，单纯追逐上轮赢家为什么会震荡？
2. 对偶间隙更小与平均奖励更高有什么区别？

小实验（自学设计）

先在石头剪刀布矩阵上对比镜像下降与带预测的镜像下降，绘制策略轨迹、平均策略与最后策略的可利用度。再加入有偏比较噪声，观察理论趋势在误差下是否仍成立。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #27

这篇论文介绍了一种名为ONPO的新型大语言模型对齐算法，旨在超越传统的Bradley-Terry奖励模型假设，以更灵活地处理复杂的人类偏好。研究者将对齐问题转化为双人零和博弈，通过引入博弈论中的乐观在线镜像传递机制，有效地寻找博弈的纳什策略。理论分析证明，该方法在收敛速度和对齐精度上均优于现有的同类算法，显著提升了模型的理论性能界限。在Mistral和Llama-3等多种模型上的实验结果显示，ONPO在AlpacaEval 2.0等权威基准测试中表现卓越，不仅超越了当前的SOTA对齐技术，甚至在性能上媲美参数量大得多的模型。此外，该算法在提升对话质量的同时，依然能有效保留模型原有的通用知识与推理能力，为实现更高效、更稳定的模型对齐提供了有力支持。