Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment

一句话直觉

用少量人工偏好启动模型，再让模型从自身logits中提取偏好来扩展训练数据。

要解决什么，怎样做

SPA从一个小型人工种子集开始，先建立初步对齐能力，随后循环生成回答、根据模型logits推导偏好标签、再使用自标注数据学习。作者还引入噪声感知过程，缓解自生成偏好中低质量标签的影响。核心不是完全消除人工反馈，而是让种子数据中的人类先验能逐轮传播到更多样本。

和已有方法的区别

与调用外部大裁判标注全部新回答不同，SPA挖掘策略内部已学到的偏好信号；与盲目自训练不同，它显式处理标签噪声。需要区分“隐式奖励比较用于标注”和“模型自然生成的自评文字”。

阅读边界与局限

循环可能放大早期偏见，也可能只是让模型更自信而非更正确。种子集覆盖度、标注噪声和独立验证集非常关键；不能用同一内部信号同时充当训练标签与唯一测试标准。

自测

1. SPA为什么仍然需要高质量的种子偏好？
2. 如果各轮内部胜率提高、人工胜率不变，应该怀疑什么？

小实验（自学设计）

固定少量种子数据，跑两轮自生成偏好学习，与相同训练量的种子重复训练比较。每轮保留一批人工或可验证测试对，记录标签准确率、偏好熵和独立胜率，监测自确认偏差。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。正式记录为ICLR 2025，清单中的2024对应早期预印本阶段。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #19

本文提出了一种名为“扩展偏好标注”（Spread Preference Annotation，SPA）的新型框架，该框架仅需少量人工标注的偏好数据即可提升大型语言模型（LLM）的对齐性能。其核心贡献在于利用小型种子数据集中的人类先验知识，通过生成自标注偏好数据并从中学习，迭代地改进对齐效果。该方法显式地从LLM的logits中提取偏好标签，结果表明其比以往使用外部奖励模型或隐式学习的方法更为有效。此外，该框架还集成了一种噪声感知学习算法，以确保其对低质量生成数据的鲁棒性，并在AlpacaEval 2.0等基准测试中，仅使用少量标准偏好数据就展现出了卓越的对齐性能。