GroupDPO: Memory efficient Group-wise Direct Preference Optimization

一句话直觉

一个问题若有五个候选，只拿最好与最差配成一对，会浪费中间答案携带的信息；但把五个答案一起反向传播又很占显存。

问题与机制

GroupDPO 研究组内偏好优化的经验效果和系统实现。同一提示下的多个响应通过组耦合目标共同决定更新，而不是独立抽一个正负对。难点是组内比较让样本彼此依赖，直接实现通常需要同时保留大量计算图。论文给出保留一阶梯度的实现：先获得目标对应的每响应系数，再在反向传播时解耦样本，使更大的候选组可以训练。作者还强调，对正响应加入负对数似然（NLL）项，对性能和稳定性都很关键。

与普通 DPO 的关系

这是两个可分开思考的改进：组目标利用更多监督，内存实现降低执行成本。只看到显存降低，不能推导监督更好；只看到组规模增加，也不能推导算法本身更优。NLL 锚定还提醒我们，相对胜负优化并不自动保证高质量答案的绝对概率。

阅读边界

“保留梯度”指对应一阶优化信号，不等于所有高阶导数或浮点计算逐位一致。实际节约多少显存取决于序列长度、组规模、缓存方式与框架。论文摘要支持离线和在线设置的改进趋势，具体收益应回到相同计算预算的实验比较。

自测

1. 把组目标拆成多个独立 pair，什么时候会改变梯度而非只改变实现？
2. 为什么已经有偏好损失，还可能需要正样本 NLL？

小实验（自学设计）

用固定五候选的小模型实现直接组反向传播和解耦实现，在相同参数处比较梯度余弦与最大误差，再测峰值显存。之后才增加组规模，分别保持训练样本数和总 token 预算一致，观察稳定性是否仍有提升。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #46

卡内基梅隆大学、谷歌DeepMind与谷歌联合推出了GroupDPO，一种通过在反向传播中解耦样本以显著降低内存占用，实现大规模组内偏好优化的高效算法，提升了多响应训练的性能与稳定性。

偏好优化广泛用于将大型语言模型（LLMs）与偏好反馈对齐。然而，大多数现有方法在每个提示上仅训练一个正负对，忽略了偏好数据集中通常包含的多个候选响应所提供的额外监督。受到这一限制的启发，近期的研究探索了组内偏好优化，该方法对同一提示的多个响应进行联合对比，但由于组耦合目标的内存开销，其经验行为和可扩展性仍未得到充分探讨。在本研究中，我们提出了一种内存高效的组内偏好优化算法，该算法在反向传播过程中解耦样本的同时保留梯度，显著降低了峰值内存使用，从而实现了更大组规模的可扩展训练。