Spectral Editing of Activations for Large Language Model Alignment
阅读顺序 103 · 多目标与推理时对齐 · 已核验摘要
原清单题名：Spectral editing of activations for large language model alignment
一句话直觉
从正负示例的激活协方差中找方向，再把推理时表示投影到更符合目标行为的子空间。
要解决什么，怎样做
SEA收集正面示例、负面示例及模型默认输出对应的内部激活，通过谱分解寻找与正面行为共同变化较强、与负面行为共同变化较弱的方向。推理时对表示做投影，让后续生成更倾向于真实性或更少偏见。作者还讨论利用特征函数实现非线性编辑。自学时可把“相关的行为方向”“投影矩阵”和“干预后的输出”画成三个独立模块。
和已有方法的区别
和直接在激活上加一个平均差向量相比，SEA利用跨协方差的谱结构；和DPO相比，它主要调整前向传播中的表示，不必为每个目标重新跑完整策略训练。
阅读边界与局限
相关方向不自动具有因果解释。层位置、示例分布和保留维数都可能影响结果，抑制负面方向也可能损失原有能力；摘要仅报告所测真实性与偏见任务上的泛化。
自测
- 为什么最大方差方向不一定是最佳对齐方向？
- 正负示例若只在长度上不同，学出的子空间可能编码什么？
小实验（自学设计）
在同一小模型上对比不编辑、均值差引导和谱投影。控制示例长度，扫描编辑层与投影维数，记录目标任务准确率及一个无关任务的能力变化，检验编辑是否依赖表面特征。
来源与核验
已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。
原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
对齐论文表 #3
本文提出了一种名为激活谱编辑（Spectral Editing of Activations，SEA）的推理时方法，旨在通过编辑大型语言模型（LLM）的内部表示来缓解其不良行为。SEA 的工作原理是将输入表示投影到最大化与正面示例（例如，真实内容）协方差，同时最小化与负面示例（例如，幻觉内容）协方差的方向。该方法被扩展到使用特征函数的非线性编辑，并且大量的实验表明，SEA 在各种基准测试中均展现出卓越的有效性、泛化能力和计算/数据效率。