一句话直觉
奖励模型的隐藏表征能提供样本之间的关系，让优势估计不只依赖一个嘈杂分数。
先理解问题
组相对RL常把同一提示下的奖励做中心化或标准化，但两个相近回答与两个完全不同回答可能得到相似的标量分数。奖励模型内部表征保留了更丰富信息，直接丢弃它会浪费可用结构。
方法如何工作
GraphAE把同一采样组建成图，节点是回答，边由奖励模型隐藏空间的相似性决定；随后通过图传播计算优势，使每个样本的信号结合邻居上下文。它可接入GRPO、GSPO、RLOO等组式优化，改变的是优势估计器而非策略架构。
放回偏好对齐的地图
与DPO的成对对数比损失不同，本工作属于在线RL信号构造；与单纯把分数平均平滑也不同，表征相似性决定哪些样本互相影响。不能自动假设语义相似就代表质量相近。
阅读边界
图连接错误会传播奖励噪声，甚至让相似但关键事实相反的回答互相污染。阅读时应检查图构建、传播系数、组大小和额外内存，并用独立评价确认增益。
自测与动手
- 若两条回答只差一个否定词，但真值相反，表示相似性会给图传播带来什么风险？
- 优势估计更低方差时，为什么仍可能引入偏差？
**小实验（自学设计）：**在固定rollout组上比较普通组优势、无图平滑和表示图传播；按“语义相似且同质量”“语义相似但异质量”分桶检查优势误差，并消融随机边以验证关系信息是否有效。
来源与阅读范围
论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。
原清单摘录与附图（保留原始表述）
以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。
研究想法 #21
指出当前RLHF仅使用奖励模型标量输出，信号嘈杂且丢失细粒度偏好信息，而RM隐藏状态蕴含丰富语义。提出GraphAE将采样组建模为图（节点=响应，边=RM隐藏空间相似度），通过图传播计算上下文感知的优势函数。轻量可插拔，无缝集成GRPO/GSPO/RLOO。在Arena-Hard v0.1上+6.3、AlpacaEval 2.0上+8.27、MT-Bench上+0.22。首次系统利用RM隐藏表示增强RLHF优势估计，为更高效的偏好优化提供新方向。