Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization

一句话直觉

奖励专家只有在训练中学会分工，个性化时调整专家权重才容易解释和组合。

先理解问题

单一通用奖励难以表达不同人的偏好；换成MoE也不保证专家各自代表清晰偏好，因为专家可能仍纠缠地依赖相同信号。需要把“专家看起来有意义”和“改变其权重会产生预期行为”区分开。

方法如何工作

论文考察奖励MoE的语义一致性、功能对应与可组合性，在架构和数据保持一致的条件下研究训练目标。稀疏路由与专家多样性正则鼓励专家分工；个性化时轻量调整路由，从已有专家组合适合用户的评分。可解释性因而通过干预路由后的行为变化接受检验。

放回偏好对齐的地图

与为每个用户重训完整奖励模型不同，它尝试复用共享专家。与Panacea直接把偏好向量注入策略相比，这里的模块是奖励模型，后续仍需决定如何用奖励评分或优化策略。

阅读边界

专家语义不应仅凭可视化命名，需要独立干预与跨数据检验。路由稀疏也可能损害少数偏好覆盖，应关注数据中未出现的新偏好能否由现有专家组合。

自测与动手

1. 如果两个专家都偏爱长答案，为什么路由很稀疏仍不能说明偏好已解耦？
2. 怎样设计干预证明一个被称作“推理专家”的模块确实改变推理偏好？

**小实验（自学设计）：**固定奖励骨干和数据，做无正则、仅稀疏、仅多样性、二者联合的消融；用同一少量用户样本调整路由，并同时评估偏好准确率、专家重合度和干预可预测性。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

**核验补充：**原清单题名为 Sparse Mixture-of-Experts Reward Models Learn Interpretable and Specialized Experts for Personalized Preference Modeling。arXiv于2026-10-27更新v2并改题；本笔记按核验到的v2摘要整理，保留旧题作检索。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #13

针对现有奖励模型假设通用偏好函数、忽略人类偏好多样性的问题，提出稀疏MoE奖励模型：在二值偏好数据上训练时鼓励稀疏路由和专家多样性。稀疏MoE学到可解释的路由模式和专门化专家，提升测试时个性化能力，专家权重在适应个性化偏好后的变化为分析模型偏好适应提供定性视角。