PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training

一句话直觉

冻结大模型，用一个较小的偏好指导策略在生成时调整token概率。

要解决什么，怎样做

PITA直接使用偏好反馈学习指导模型，不要求先把人类比较拟合成一个预训练奖励模型。它把问题描述为识别潜在偏好分布，通过随机搜索和迭代改进指导策略，在推理时作用于大模型的token生成。大模型权重保持固定，但“小指导器如何学习”仍属于系统训练的一部分，应和“完全不用学习”区别开。

和已有方法的区别

和DPO直接更新主策略相比，PITA把可学习部分移到小指导器；和依赖显式奖励模型的引导解码相比，它直接消费偏好信息。代价从大模型微调转移到指导策略学习和推理时计算。

阅读边界与局限

小指导器受词表接口和基座能力限制，偏好信息若不充分也可能误引导。摘要覆盖数学推理与情感等任务，不能由此断言适合任意开放式价值目标。实际部署应测延迟和分布外适应。

自测

1. 主模型不微调，是否等于整个方法没有训练成本？
2. 相同偏好指导器换到不同基座上，哪些接口和分布假设需要检查？

小实验（自学设计）

冻结一个小语言模型，对比原始采样、固定logit偏置和学习型偏好指导。使用相同偏好查询预算，记录任务正确率、目标偏好满足度及每token时间，再换一组提示检验过拟合。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #16

本文提出了一种名为 PITA 的新型框架，用于在推理时对大型语言模型 (LLM) 进行基于偏好的对齐，而无需预训练的奖励模型。PITA 通过学习一个在推理时调整词元概率的小型指导策略，将用户偏好反馈直接集成到 LLM 的词元生成过程中，从而降低计算成本并避免了与奖励模型拟合相关的不稳定性。该方法将问题建模为识别潜在的偏好分布，并采用随机搜索迭代地优化指导模型。评估结果表明，PITA 在各种任务中都能有效地将 LLM 的输出与用户偏好对齐。