Robust Preference Alignment via Directional Neighborhood Consensus

一句话直觉

模型不熟悉某个很细的要求时，完全围着同一句要求重复采样未必最好；稍微换几个邻近表达，可能找到更合适的候选。

问题与机制

Robust Preference Selection（RPS）是训练后的无训练选择方法。它把人类偏好理解为高维方向，针对训练数据偏向主流平均偏好造成的覆盖缺口，在局部相关偏好邻域中采样多个响应，形成候选池，再按用户原始偏好选择。邻域用于探索，原始意图用于最终判断，并不是把用户要求平均掉。

与多采样的差别

普通多采样主要在同一条件下增加随机性；RPS 则改变生成候选时的偏好条件。若候选数量、温度与评分器不同，很容易把额外计算误认为邻域共识的效果。摘要包含与强多候选基线的比较和相应理论分析，但具体优越性仍取决于理论假设及邻域构造。

阅读边界

邻近偏好不必然等于更安全或更正确的偏好。修改“不要透露答案”为“给更多提示”，可能跨越实质边界，因此邻域的语义距离和约束保持需要单独检验。最终评分器若不能理解细微个人要求，候选池变大也可能放大评分偏差。

自测

1. RPS 为什么必须用原始偏好而非平均邻域偏好选择答案？
2. “样本更多”和“探索了不同条件”如何通过实验区分？

小实验（自学设计）

固定总候选数，比较原偏好重复采样、近义改写采样与真正方向邻域采样。让人工评审按原要求打分，并标注候选是否越过硬约束；对少见与常见偏好分组，检查收益是否确实来自覆盖缺口。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #60

人类偏好可视为一个高维向量，其中不同方向代表期望属性之间的权衡（例如，帮助性与冗长性）。然而，由于训练数据通常反映主流的平均偏好，LLM在处理常见请求时表现良好，但在满足特定个体需求方面存在不足。这种不匹配导致了偏好覆盖的缺口。现有方法通常通过代价高昂的再训练来解决该问题，但这可能无法推广到多样化偏好的全谱。这种脆弱性意味着当用户请求反映出偏离训练数据中心趋势的细微偏好时，模型性能可能不可预测地下降。为应对这一挑战，我们提出了鲁棒偏好选择（Robust Preference Selection，RPS），这是一种基于方向邻域共识的后置、无训练方法。RPS不强制模型仅基于单一高度特定的偏好生成响应，而是从相关偏好的局部邻域采样多个响应以构建更优的候选池，随后选择最符合用户原始意图的响应。