Causal Direct Preference Optimization for Language Model Alignment

一句话直觉

偏好标签可能混入主题、风格或用户目标的影响，因果调整试图把真正的偏好信号分离出来。

要解决什么，怎样做

CDPO指出数据生成中的混杂因素会被DPO继承。方法采用因果推断原则和后门调整，在直接优化的框架内减轻混杂造成的虚假相关。理解时可画一个因果图：环境同时影响回答属性和标注选择，模型若只学相关性，就可能把环境线索错当质量。正式摘要强调可观测混杂，本笔记不把清单中未独立核验的潜在环境聚类细节当作定论。

和已有方法的区别

普通DPO按观察到的标签学习，CDPO改变的是这些标签如何在因果条件下提供监督。它也不同于随机标签纠错：系统性混杂可能让大量标签彼此一致，却仍教错方向。

阅读边界与局限

后门调整依赖混杂变量被充分测量等假设。遗漏的混杂、错误的因果图或缺乏支持重叠都会限制结论，“因果”一词本身不会自动带来分布外保证。

自测

1. 所有标注者都偏爱长回答，为什么这不一定是独立随机噪声？
2. 如果某环境中从未出现简短正确回答，调整还能可靠估计什么？

小实验（自学设计）

构造质量与长度可独立控制的数据，让训练环境里长回答更常正确，测试环境反转这种相关性。比较普通DPO和按环境分层或重加权的教学基线，检查是否学到可迁移质量信号。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。清单的潜在环境与具体数值尚未逐项核验；本文按EACL 2026正式摘要介绍可确认的核心。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #30

提出因果直接偏好优化(CDPO)，从因果推断视角改进DPO以提升OOD泛化能力。三个核心机制：(1)后门调整策略——在偏好对齐阶段显式控制环境混杂因素，消除虚假关联对偏好学习的影响；(2)潜在环境建模——使用软聚类方法从数据中推断潜在环境分组，无需预定义环境标签；(3)不变性约束——强制模型在不同推断环境下保持一致的偏好结构，使模型捕捉到跨分布稳定的用户偏好。在四种分布偏移设置下平均性能提升17.17%。