Threshold-Guided Optimization for Visual Generative Models

一句话直觉

只有独立标量评分，也可以通过阈值构造对齐信号，不必先凑成成对标签。

先理解问题

视觉生成的用户反馈可能是一张图一个分数，而非同一提示两张图选优。强行构造比较对会增加数据处理和标注要求，也丢掉评分强度信息，因此需要直接利用非成对评分。

方法如何工作

论文从KL正则对齐的最优策略关系出发，指出理想比较基线依赖实例且通常不可算；用经验分数统计估计全局阈值，把高于或低于阈值的样本转成二元决策监督，并用离阈值远近构造置信权重。学习重点是区分理论oracle基线与可实现替代阈值。

放回偏好对齐的地图

与DPO比较两条回答的相对质量不同，它比较单样本分数与公共参照。与AOT比较整个正负奖励分布也不同，阈值承担监督构造的角色，可能改变样本在训练中的有效权重。

阅读边界

全局阈值可能忽略提示难度：简单提示容易过线，复杂提示即使优秀也可能低分。需要检查奖励尺度、分数校准、阈值估计的数据泄漏及不同生成范式的适配。

自测与动手

1. 如果不同提示的评分整体偏移，全局阈值会如何误分样本？
2. 为什么离阈值远被视为更有置信度，仍可能在奖励错设时出错？

**小实验（自学设计）：**模拟两类难度不同的提示与相同真实质量，比较全局阈值、提示内标准化和成对监督；按提示难度报告正负标签比例与生成质量，检验收益是否依赖评分校准。

来源与阅读范围

论文原文。已核对正式论文页面的题名与摘要；机制解释同时参照原研究清单，具体公式、证明与实验配置仍需阅读全文。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #26

基于阈值引导的视觉生成模型优化方法，通过将KL正则化的对齐目标转为基于标量反馈的二元决策任务，实现了无需成对标注的有效偏好对齐。