MATO: Multi-objective Personalized Alignment with Test-time Optimization for Large Language Models

一句话直觉

多个用户偏好可以在解码时动态协商权重，让尚未生成的token补足当前回答忽略的目标。

要解决什么，怎样做

MATO把个性化看成测试时优化。奖励发现模块从骨干语言模型中恢复自然语言指定目标的偏好信号，权重优化模块根据用户初始偏好和部分生成回答动态调整权重，再共同引导token分布。它不修改主模型参数，也不要求为每一种偏好额外训练外部奖励模型。

和已有方法的区别

简单提示把所有目标一次写进上下文，MATO还持续调节解码分布；与固定多目标权重相比，它把当前已生成内容纳入权衡。这里training-free描述参数训练，不代表推理时没有额外优化计算。

阅读边界与局限

内生奖励可能与模型自身偏见一致，而非用户真实满意度。动态权重也可能造成生成风格跳变，实际应用要检查延迟、偏好满足稳定性和内容一致性，不能只看平均总分。

自测

1. 主模型参数不变，输出分布为什么仍能发生系统性变化？
2. 如果回答前半段已很详细，后续权重怎样体现用户的简洁要求？

小实验（自学设计）

用“信息完整、简洁、语气友善”三个无害目标，比较普通提示、固定权重引导与动态权重教学基线。固定任务与采样预算，分别评估每个目标、响应一致性及每token开销。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #50

提出MATO免训练多目标个性化对齐框架：将个性化建模为测试时优化问题，通过解码过程中可控权重调节多目标相对重要性，无需修改模型参数或外部奖励模型。奖励发现模块从骨干LLM直接恢复自然语言指定目标的偏好奖励，权重优化模块根据用户初始偏好和已生成响应动态调整目标权重，联合引导token分布在线优化。多数据集和多LLM上一致超越强基线，实现帕累托改进的多目标对齐和更强可控性。