Beyond Compromise: Pareto-Lenient Consensus for Efficient Multi-Preference LLM Alignment

一句话直觉

多目标优化若不允许任何目标暂时退步，可能把模型困在保守折中点；适度让步可以帮助探索更好的整体前沿。

要解决什么，怎样做

PLC把多偏好对齐解释为动态协商。传统静态加权和或严格梯度冲突消除，容易在局部停滞；PLC根据联盟共识引入宽容的梯度修正，当主导目标联盟有足够收益时，允许某些目标局部下降。学习关键是区分短期冲突与长期不可接受的牺牲：方法试图前者可协商，而不是无条件放弃弱势目标。

和已有方法的区别

与要求每一步所有目标同时改善的规则不同，PLC允许优化轨迹有暂时权衡；与固定权重相比，决策依赖当前目标之间的收益结构。这里的Pareto分析针对目标向量，不能只看总奖励上涨。

阅读边界与局限

允许退步会引入偏差，宽容度与衰减策略影响最终行为。论文在假设下分析共识平衡，不能保证任意非凸大模型都找到全局Pareto最优。安全底线也不宜仅作为可被多数收益抵消的普通目标。

自测

1. 为什么每一步都不伤害任何目标，反而可能阻止最终改善？
2. 一个加权总分更高的点，是否一定Pareto支配旧点？

小实验（自学设计）

先用两个存在局部冲突的二维目标函数画轨迹，对比静态加权、严格投影与有限宽容规则。记录最终前沿、曾经出现的最大目标损失和对宽容温度的敏感性。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。已核验2026预印本摘要；正式收录还可参见ACL 2026 Findings记录。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #20

这篇论文试图解决多目标偏好对齐（Multi-Objective Preference Alignment, MPA）中静态优化范式导致的过早收敛与局部最优陷阱问题。