LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization

一句话直觉

连续学习新偏好时，要把新经验转成稳定记忆，避免每次对齐都覆盖旧准则。

要解决什么，怎样做

LifeAlign研究终身对齐：模型按顺序接触新任务或偏好，仍应保留此前学到的能力和约束。框架结合focalized preference optimization与短期到长期的记忆整合。前者调整对新样本的学习重点，后者通过内在降维把去噪后的短期偏好表示并入稳定记忆。阅读时把“当前任务学得快”和“旧任务忘得少”分别记录。

和已有方法的区别

静态DPO通常假定数据与偏好集合固定；LifeAlign把任务顺序和长期保留纳入问题。记忆整合也不只是把全部旧样本无限回放，而是试图压缩并融合偏好更新的结构。

阅读边界与局限

压缩可能删掉少见但重要的偏好，任务之间也可能真实冲突。不能把所有旧偏好永久保留都视为好事，若准则已过时，还应有受控更新机制。摘要未提供任意长任务序列的无遗忘保证。

自测

1. 为什么只测最后一个任务的效果无法评价终身对齐？
2. 新偏好与旧偏好冲突时，“遗忘”一定代表失败吗？

小实验（自学设计）

按三个风格或规则任务顺序训练，完成每轮后都重测全部已见任务。比较无记忆、完整回放和低秩记忆整合，记录性能矩阵、后向迁移与存储成本，并交换任务顺序。

来源与核验

已核验原始论文摘要或官方论文记录，以上是导读级自学笔记，尚未逐节复核全文证明与实验。清单使用早期简写标题；已按AAAI 2026正式记录更正。

原论文或作者官方来源。本地研究清单提供了补充摘录；自测、小实验及分析性提醒为学习设计，不是论文报告的结果。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

对齐论文表 #26

这份研究介绍了 LifeAlign 框架，旨在解决大型语言模型在持续学习新的人类偏好时出现的灾难性遗忘问题。该方案由两个核心策略组成：聚焦偏好优化 (FPO) 通过自适应损失函数，在强化新规约的同时减轻对已掌握知识的训练压力；短长期记忆整合 (SLMC) 则利用奇异值分解和空间投影技术，将短期参数更新去噪并融合至稳定的长期记忆中。实验表明，LifeAlign 在处理涉及人类偏好、指令遵循、价值观及事实对齐的多任务序列时，性能显著优于现有的持续学习方法。该框架证明了模型可以在不牺牲旧有准则的前提下，灵活适应不断演变的社会规范与用户需求。这种双重调节机制确保了人工智能系统在实际部署环境中的可靠性、安全性和道德一致性。