Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases

阅读顺序 053 · 噪声与鲁棒性 · 已核验摘要

阅读原文 ↗
来源与核验

核对primary来源题名、摘要；尚未逐项复核全文公式与实验。

原清单位置：研究想法 #11 · 整理于 2026-10-30

本篇目录
  1. 一句话直觉
  2. 先理解问题
  3. 方法如何工作
  4. 放回偏好对齐的地图
  5. 阅读边界
  6. 自测与动手
  7. 来源与阅读范围

一句话直觉

如果好质量与偏见在候选回答里绑定，偏好学习可能把二者一起放大。

先理解问题

成对标签告诉我们哪个回答更好，却未说明胜出的原因。若高质量候选总带某种偏见，而不带偏见的候选总写得较差，标注者基于质量选择后，数据会把质量信号与偏见混在一起。候选生成模型因而能影响后续对齐监督。

方法如何工作

Alignment Tampering研究这种结构性漏洞：模型输出影响偏好数据，偏好数据影响奖励学习，奖励优化再放大不希望的特征。论文在多类偏置上研究该链条，并发现稳健RLHF等缓解手段仍面临响应质量权衡。

放回偏好对齐的地图

这不同于模型直接欺骗一个固定奖励模型；偏差可以更早进入数据生成阶段。没有显式奖励模型的DPO也不因此免疫，因为偏好标签仍可能携带混杂信息；Best-of-N同样可能放大被打分偏爱的偏置。

阅读边界

不要把相关性放大等同于已证明模型在所有现实训练中具有主动意图。阅读实验时应区分人为构造的攻击条件、评价偏见的定义和真实部署中的发生概率。

自测与动手

  1. 为什么更高的偏好胜率不能单独证明偏见减少？
  2. 若奖励模型本身没有显式偏见，但质量与偏见在候选中相关，选择仍会怎样偏移？

**小实验（自学设计）：**构造质量高低与一个无害标记正交的四类回答，再构造二者相关的数据；训练相同偏好分类器并比较标记依赖，观察打散混杂比单纯增加数据量是否更有效。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #11

1.问题: Alignment Tampering，对齐篡改。

RLHF 本来用于让模型更符合人类偏好，但在某些结构性条件下，模型反而可以“污染”自己的偏好数据，使 RLHF 放大某些不希望出现的偏见或目标。如果模型在生成数据时已经存在某种偏见-质量相关性，那么偏好标注者可能会因为回答质量更高而选择带偏见的回答。于是 reward model 学到的不是单纯的“高质量”，而是“高质量 + 偏见”的混合信号。

原因:

  1. pairwise preference 只告诉我们哪个回答更好，但不告诉我们为什么更好。

  2. 偏见和质量被模型输出机制绑定在一起，RLHF 无法区分二者。

2.方法:

  1. Iterative RLHF,代价是 win rate 也下降

  2. Robust reward modeling,现有 reward hacking 缓解方法并不能直接解决 alignment tampering。

3.总结:

  1. 提出了一个新的 RLHF 结构性漏洞：$\text{model outputs} \rightarrow \text{preference dataset} \rightarrow \text{reward model} \rightarrow \text{optimized policy}$,如果第一步中模型输出已经把偏见和质量绑定，后面整个链条都会放大这个绑定。

  2. 它证明这种现象不仅存在于 PPO，也存在于 DPO 和 BoN。这点很重要，因为很多人会认为 DPO 没有显式 reward model，可能更安全。但论文结果说明 DPO 的 implicit reward 也会继承偏好数据中的偏差。

  3. 它证明即使 reward model 本身不偏，只要高质量输出和偏见相关，reward-guided selection 仍然会放大偏见。这说明问题不是简单地换一个 reward model 就能解决的。

RLHF 的偏好数据来自模型自己的输出，而偏好标签只记录“哪个回答更好”，不记录“为什么更好”。因此，当模型把高质量和某种偏见绑定在一起时，RLHF 会把这种偏见误当成高质量的一部分进行优化，最终放大 misaligned bias。

4.迁移到diffusion model:

当偏好数据中的视觉属性与感知图像质量混淆时，偏好优化可能会放大虚假的视觉属性。

$\text{undesired attribute} \quad \text{与} \quad \text{perceived quality / preference score}$

在 text-to-image diffusion 中，对应现象可能是：

  • 某些视觉风格和 aesthetic score 绑定；

  • 某些 demographic bias 和 image quality 绑定；

  • 某些品牌、符号、构图模板和 preference reward 绑定；

  • 某些 unsafe / manipulative visual traits 和 human preference 绑定；

  • reward model 无法区分“图像质量提升”和“偏见属性增强”。