Aligning Large Language Models with Human Preferences through Representation Engineering

一句话直觉

人类偏好会体现在模型内部活动差异中，控制这些表示是一条区别于复杂强化学习的对齐路径。

要解决什么，怎样做

RAHF先识别偏好回答与不偏好回答在模型内部表示中的差别，再通过表示变换影响生成行为。本地摘录提到单模型对比指令调节与双模型偏好建模两条实现路径；原论文摘要确认核心是表示识别与操控。阅读时应追踪差向量从何而来、在什么层干预，以及干预如何传到下一token概率。

和已有方法的区别

DPO在参数空间中优化偏好损失，RAHF把控制重点放到表示空间。它与SEA同属表征干预思路，但具体方向构造不同；不要因为都使用“方向”就认为目标函数与理论相同。

阅读边界与局限

表示差异可能编码长度、语气、训练模型来源等混杂因素。有效操控某个基准不意味着找到了抽象“人类价值观神经元”；需要跨主题、跨任务和能力保持的验证。

自测

1. 表示方向与人类偏好相关，为什么还不能断言它是偏好的因果机制？
2. 用两个不同模型提取方向，可能额外引入哪些差异？

小实验（自学设计）

构造内容相同、只有礼貌程度不同的响应对，提取表示差异并尝试弱干预。加入长度匹配和随机方向对照，检查礼貌变化、事实保持与无关任务表现，逐层扫描干预效果。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。预印本首发2023，正式发表为ACL 2024。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #28

本研究论文介绍了一种名为基于人类反馈的表示对齐（RAHF）的创新方法，旨在让大型语言模型更符合人类的偏好。相比于传统的强化学习（RLHF），RAHF通过表示工程技术识别模型内部与人类价值观相关的活动模式，并直接对这些表征空间进行精准控制。这种方法消除了对复杂奖励模型的需求，显著降低了计算成本，同时增强了训练的稳定性。研究者提出了单模型对比指令微调和双模型偏好建模两种具体实现路径，有效地提取并利用了偏好差异向量。实验证明，RAHF在真实性、安全性及通用能力等多个基准测试中均优于现有的主流对齐技术。通过对模型底层激活状态的干预，RAHF为构建可控且高效的人工智能提供了一个简洁而强大的新范式。