Which Pairs to Compare for LLM Post-Training?

一句话直觉

标注预算有限时，应挑能改善最终策略的信息方向，而非只挑看起来最难的比较。

先理解问题

生成更多回答通常比请人标注比较更便宜。给每个提示只生成少量回答并全部配对，可能浪费标注预算；更大候选池允许选择互补的信息，而非反复比较相似答案。

方法如何工作

论文将比较策划形式化为采样设计，研究所选比较如何经过DPO参数估计传递到最终策略的最优性差距。上下界通过一个依赖设计的信息矩阵连接标签分配、估计误差与策略性能，由此推导预算内选择标准和实用采样策略。

放回偏好对齐的地图

仅按小margin挑难例，关注的是局部不确定；信息矩阵还关注不同参数方向是否被覆盖。许多重复的困难对可能仍不能辨认另一个重要方向，因此多样性不只是装饰性指标。

阅读边界

理论设计依赖特征、策略类及偏好模型假设，深度网络中的信息矩阵常需近似。应把生成候选成本和人工标注成本分开计入，不把更多生成计算误算成纯算法收益。

自测与动手

1. 为什么十个同方向的难比较，可能不如两个互补方向的比较？
2. 信息矩阵某个方向接近奇异，意味着该方向的偏好信息有什么问题？

**小实验（自学设计）：**用二维线性偏好模拟两个待估方向，对比随机、小margin和信息设计选对；在相同标签数下测参数误差及最终策略奖励，并检查选对是否覆盖两个方向。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #33

将DPO偏好对选择建模为采样设计问题。提供DPO训练策略后训练最优性差距的匹配上下界，分析偏好对选择如何通过单一设计依赖信息矩阵影响下游策略性能。提出基于信息矩阵的优化标准和实用采样设计，在合成实验和语言模型后训练基准上一致优于常见启发式选择策略。