Aligner: Efficient Alignment by Learning to Correct

一句话直觉

让一个小模型学习“怎样改好现有回答”，可以把纠错能力复用于多个上游模型。

要解决什么，怎样做

Aligner把输入改成“问题、原回答”，输出改成修正后的回答。这样小模型学习的是回答到更好回答的条件映射，而不必重新学会完整求解问题。本地摘录与作者项目描述都强调语义残差：保留合适内容，只修正与偏好不一致的部分。训练好的纠正器可接在开源模型或API模型之后，也可把修正回答回灌为后续训练数据。

和已有方法的区别

DPO直接改变上游策略的生成概率；Aligner多加一段生成流程，上游参数可以完全不动。这里的“残差”主要指纠正前后的语义变化，不应误读成逐参数相减或必须采用ResNet结构。

阅读边界与局限

额外纠正带来延迟，也可能删掉正确细节或改变原意。纠正器面对比自己更强的上游模型时，仍需检查是否出现“越改越差”。摘要中的跨模型结果不构成任意领域的迁移保证。

自测

1. 为什么“会纠错”不等于“能独立完成同样难的题”？
2. 如何识别纠正器仅改变语气，却没有改善事实？

小实验（自学设计）

准备包含事实错误、冗长表达和原本正确回答的混合测试集。把同一个纠正器接到两个上游模型后，分别评估纠错率、误改率、内容保留率和新增延迟，并检查跨模型泛化。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #2

本文介绍了一种名为 Aligner 的新型模型无关对齐范式，它利用一个小型模型来学习校正首选答案和非首选答案之间的残差。这种方法只需一次训练即可在各种大型语言模型 (LLM) 上快速部署和迭代。实验表明，Aligner 在多个 LLM 上均能显著提升答案的有用性、无害性和减少幻觉方面的性能，证明了其有效性和通用性。