Post-hoc Alignment of LLM-judges to Human Judgment Distribution

一句话直觉

十个人中五人喜欢甲、五人喜欢乙，与十人全部喜欢甲，是完全不同的判断结构；只保存一个多数标签会抹掉分歧。

问题与机制

本文检查 LLM-as-a-Judge 对硬标签与 Human Judgment Distribution（HJD）的预测。摘要显示模型在聚合标签上可以接近人类表现，却不擅长预测软标签。NAPHA 先把实例分配到离散熵类别，再路由到专门训练的对齐模型，进行轻量后置校准。硬标签准确与人类分歧校准是两种不同能力。

数学直觉（教学示意）

人类判断分布 $p$ 的熵为 $H(p)=-\sum_i p_i\log p_i$。分布越接近均衡，熵通常越高。若只看 argmax，预测 $(0.51,0.49)$ 与 $(0.99,0.01)$ 可以给出同一个标签，却对群体不确定性作出截然不同的陈述。

与普通裁判微调的区别

目标不是简单让裁判更确定地复述多数结论，而是匹配未聚合的人类判断。按熵路由让不同分歧程度的样本接受不同校准。后置校准需要真实分布数据，不能凭单个硬标签恢复全部人类意见。

阅读边界

高熵可能来自合理价值差异，也可能来自问题含糊或标注噪声，不能全部解释为应当保留的多元性。论文的 oracle 实验说明熵分类更准确可能带来空间，不能当作实际部署性能；路由错误本身也是新的误差来源。

自测

1. 为什么两种裁判硬标签准确率相同，分布预测质量仍可能差很多？
2. 熵类别预测错误，会如何影响后面的专用校准模型？

小实验（自学设计）

收集每题多个独立判断，保留完整分布。比较未校准、统一校准与熵路由校准，报告硬标签准确率及分布距离；按高低熵分层，并单列路由错误样本，避免平均指标掩盖高分歧失败。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #84

研究问题：LLM-as-judge 只对齐聚合硬标签，忽略人类标注变异，软标签（人类判断分布）预测差。方法：提出 NAPHA，先按离散熵类路由实例，再派给专门训练的对齐模型。创新：熵感知的轻量后置对齐，匹配人类判断分布。关系：LLM 裁判对齐，高熵实例上显著提升软标签预测。