GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning

一句话直觉

高奖励rollout若推动的偏好方向与多数样本强烈冲突，先检查它是否是不可靠的更新来源。

先理解问题

在线RL每轮从当前策略采样，少数高分却不可靠的回答可能主导优势，导致训练振荡。分数高低本身无法揭示它们是否与批内其他偏好方向一致，因此论文关注潜在表示中的方向不一致。

方法如何工作

GEOALIGN在同提示回答内构造偏好对，利用在线投影器使奖励排序的表示位移更集中，形成批内共识方向；按角度偏离识别不一致rollout，再以同提示内稳定候选纠正。整个筛选插件以表征和前向信息为主，不直接修改外部奖励定义。

放回偏好对齐的地图

与DOG-DPO训练前选静态子集不同，这是在线rollout整理；与可信方向投影限制参数梯度不同，这里先改变进入更新的数据。三者都用方向信号，却需要不同的可靠性假设。

阅读边界

多数方向未必正确，批内若普遍共享奖励漏洞，共识可能强化错误。应检查投影器适应速度、罕见有效推理是否被删，以及替代rollout是否引入额外采样成本。

自测与动手

1. 为什么一个方向离群的回答可能既是噪声，也可能是有价值的新策略？
2. 如果整个批次都共享同一种奖励捷径，角度共识能识别它吗？

**小实验（自学设计）：**构造少量错误高奖励rollout和少量真正新颖高质量rollout，分别测筛选保留率；比较按奖励裁剪、随机替换与几何修正，确认方法不是简单消除所有离群样本。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #30

识别在线RLHF对齐中的方向不一致性(directional inconsistency)失败模式——批内少量高奖励rollout与多数方向冲突导致训练不稳定。提出GEOALIGN轻量插件，通过在线投影和角度偏差检测修正不一致rollout，在对话对齐和数学推理上显著超越PF-PPO/PAR/PODS和Seed-GRPO，且仅需前向传播无额外开销。