Multi-Objective Exploration and Preference Optimization via Mutual Information

一句话直觉

如果调节偏好向量后模型还是给出几乎相同的答案，控制旋钮就只是表面功能；探索过程也需要学会区分不同目标。

问题与机制

MI-EPO 关注条件于偏好向量的多目标策略。探索不确定性会让不同偏好下的响应奖励分布重叠，使策略难以对应目标。作者最大化生成响应、偏好反馈与偏好向量之间的联合条件互信息，并通过概率路由分解目标对齐与偏好感知探索。可区分性与符合相应偏好需要同时成立；答案不一样本身并不够。

与固定多目标加权的区别

加权和给出了某种取舍，但不一定确保模型实际用到了输入的偏好条件。互信息视角追问：观察响应及反馈后，能否辨认它对应的偏好；反过来偏好向量是否真正约束生成。路由为不同偏好提供结构化探索，而非只对一个平均奖励增加随机性。

阅读边界

原清单写有“保持帕累托最优性”，当前摘要不足以支持无条件的全局保证，因此此处不沿用。互信息变高也可能由风格捷径造成，需要检查质量和真实偏好满意度。正式标题没有 MI-EPO 前缀，但方法名在摘要中明确使用。

自测

1. 不同偏好生成不同文风，为什么仍可能没有实现正确的目标权衡？
2. 探索多样性与偏好可控性分别应如何测量？

小实验（自学设计）

设两个冲突目标，连续扫描偏好向量，比较普通条件策略和互信息探索策略。记录目标得分曲线、响应间差异与偏好识别准确率，再随机打乱偏好向量，检查模型是否确实依赖条件而非只学会输出风格标签。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #77

**做法总结：**提出基于互信息的多目标探索与偏好优化框架MI-EPO，统一多目标探索和对齐。通过互信息最大化同时优化探索多样性与偏好满意度，将多目标偏好优化形式化为信息论优化问题。相比标准DPO仅优化单一偏好，MI-EPO在多目标场景下保持帕累托最优性，避免偏好坍缩。为多维度人类偏好的对齐提供了原则性方案。