Online Preference Alignment for Language Models via Count-based Exploration

一句话直觉

除了偏爱高分回答，还要给没充分探索过的响应机会，避免在线训练反复采到同一小片区域。

要解决什么，怎样做

COPO从在线RLHF的探索问题出发，在一定线性奖励假设下把UCB式乐观项转化为计数探索奖励，并使用coin-flip counting模块估计提示—响应对的伪计数。迭代训练中，低计数区域获得更多探索动力，偏好目标则约束探索方向。伪计数不是对每段文字建立巨大精确字典，而是通过表示估计访问新颖性。

和已有方法的区别

普通迭代DPO也会生成新数据，但不一定主动补足覆盖；COPO显式加入新颖性驱动。与主动标注相比，它主要回答“怎样生成探索”，两者可以相互补充。

阅读边界与局限

新颖不代表质量好，计数误差也可能让模型追逐无意义变化。理论的线性奖励条件与实际神经实现存在差距；应检验探索是否增加有效内容，而非只增加词汇随机性。

自测

1. 为什么每轮重新采样，仍可能缺乏真正探索？
2. 如何区分语义新颖和仅仅换一种措辞？

小实验（自学设计）

在有限语义类别的生成任务中，比较无探索和计数奖励。统计有效类别覆盖、独立质量与重复率，并把同义改写归到同一类，检查探索指标是否被表面变化欺骗。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #39

提出基于计数的在线偏好优化(COPO)，解决离线对齐数据覆盖不足问题。核心方法：(1)理论动机——在线性奖励假设下证明UCB乐观奖励可转化为计数式探索奖励；(2)硬币翻转计数模块——轻量级概率计数机制估计提示-响应对在已有数据中的伪计数；(3)计数式探索奖励——低计数（新颖）响应获得更高探索奖励，激励LLM生成多样化、未充分探索的输出；(4)迭代循环——收集数据-更新伪计数-优化DPO+探索联合目标-重复，逐步扩大数据覆盖范围。