On the Limits of Steering Vectors for Preference-Aligned Generation

一句话直觉

能把语气变得更幽默的向量，不一定能跨任务工作，更不一定能与“更简洁”“更正式”的向量无损相加。

问题与机制

本文不是再提出一个通用 steering 算法，而是系统检查其泛化范围。作者在写作个性化任务中提取偏好向量，考察属性能否表达、从正负风格示例迁移到摘要及邮件写作是否有效，以及多个向量怎样组合。摘要报告属性间差异、任务迁移下降与组合时表达能力衰减，并指出连贯性与属性强度之间存在权衡。单属性有效不足以支持通用个性化能力。

与训练时对齐的关系

Steering 在激活上施加干预，通常不为每个偏好重新训练全部参数；DPO 则从偏好数据改变参数。两者都可能受数据覆盖影响，因此“免训练”不是“免泛化问题”。可与 D-STEER 对照：一个分析 DPO 变化能否被向量重现，本文检查这种向量作为控制工具能走多远。

阅读边界

多个向量相加不保证属性效果相加，因为网络的后续非线性和任务语境会改变干预含义。摘要结论来自特定模型与 PLUME 写作个性化设置，不能直接扩大为所有激活编辑都无效。需要分别报告表达、质量、连贯性与调参成本。

自测

1. 为什么同一属性在邮件和摘要任务上的理想表现可能不同？
2. 合成向量的范数增加，是否能解释全部多属性性能下降？

小实验（自学设计）

提取两种风格向量，在独立任务上比较单独、直接相加、范数归一化相加。扫描强度并固定评测提示词，对属性表达与任务质量分别评分，再加入第三种属性，区分范数问题与真实组合冲突。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #79

**做法总结：**系统研究steering向量在偏好对齐生成中的泛化限制。发现steering向量方法在分布外场景中表现显著退化，对齐效果高度依赖训练分布的覆盖范围。为推理时对齐方法（区别于DPO等训练时对齐）的能力边界提供了实证分析，指出当前方法的脆弱性。对理解激活引导与训练时偏好优化方法的差异和互补性有重要参考价值。