D-STEER - Preference Alignment Techniques Learn to Behave, not to Believe - Beneath the Surface, DPO as Steering Vector Perturbation in Activation Space

一句话直觉

训练后看起来更符合偏好，可能来自少数表示方向的移动；这与彻底重写模型知识或语义结构是不同层次的解释。

问题与机制

D-STEER 研究 DPO 在网络内部引发的变化。作者从梯度分析出发，强调偏好与非偏好响应的 logit 嵌入差；再从 DPO 模型提取经验 steering vector，把它加到基础模型激活上以重现部分对齐行为，减去则尝试恢复原始行为。谱分析进一步检查上层的秩一主导及熵变化。干预激活能否重现行为，是比单纯相关性更强的一类证据。

与推理时 steering 的联系

这项工作用训练后的变化来理解可供推理干预的方向，而不是只把 steering 当便宜替代训练的工具。学习时要区分局部一阶梯度结构、训练后的表示差异以及生成行为可逆性；三种证据彼此支持，但并不是逻辑上完全等同。

阅读边界

标题“学会表现而非相信”是作者的解释框架。当前实验不能直接测量模型是否拥有或改变了人类意义的信念，也不能据此证明所有 DPO 对齐都是虚假行为。提取方向对层、任务、模型与强度的依赖，以及恢复行为的范围，都需要查看正文；可对照 steering 泛化边界研究阅读。

自测

1. 一个低秩方向能重现多数测评变化，为什么仍不证明其解释了全部参数变化？
2. 加向量与减向量实验各自能支持什么，不能支持什么？

小实验（自学设计）

从同一基础与 DPO 模型提取层间激活差，比较真实差向量、随机同范数向量和打乱层向量。对训练任务与新任务分别测行为变化，同时记录流畅度和熵，避免将普遍退化误认成偏好反转。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #61

直接偏好优化（Direct Preference Optimization，DPO）已成为对大型语言模型进行对齐的标准方法，然而其在模型内部实际引发何种变化尚不明确。本文认为，DPO并未重写模型的内部信念；相反，它充当一种低秩引导机制，推动激活沿少数偏好方向变化。**通过简单推导，我们表明DPO梯度仅依赖于偏好与非偏好生成结果的logit嵌入差异，这意味着最终隐藏表示发生一阶偏移，而非语义的深层重构。**随后，我们从经过DPO调优的模型中提取经验引导向量，实验证明将该向量加至基础激活能够重现大部分对齐行为，而减去该向量则几乎恢复原始模型。最后，谱分析显示上层存在秩一主导和熵崩溃现象，表明对齐过程被限制在狭窄子空间内。综上所述，这些结果支持DPO的行为幻觉观点：它教会模型如何表现出对齐行为，而非改变其信念内容。