PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

一句话直觉

想让图像更符合提示词，既可以改变“怎么理解提示词”，也可以改变“当前噪声往哪里走”；两者相互影响，不能总是孤立调节。

问题与机制

PG-MAP 将推理时对齐写成轨迹层面的 Gibbs-MAP／近端能量优化，同时考虑条件变量 c 与潜变量 z_t，并用前向一致性耦合把它们联系起来。框架可选择使用冻结的偏好奖励，不需要为每个目标重新训练生成器。扩散与 flow matching 采用不同的运输适配：摘要说明在扩散骨干中联合优化有效，在 SD3.5-medium 的流匹配实验中采用 latent-only 变体。

与常见 guidance 的区别

CFG、注意力编辑或只扰动 latent 往往选择单一控制轴。这里的学习重点是变量之间的依赖以及更新发生在什么时间段，而不是简单把 guidance 系数加大。原清单标题是简写；当前正式标题为 Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models。

阅读边界

无需训练不代表无需额外计算，推理优化仍会增加前向或梯度成本。作者摘要也提示不同 prompt 对条件与潜变量优化的依赖不同；oracle 路由的分析上限不能当成可直接部署的自动选择器性能。评测时要控制 CFG 调参和计算预算。

自测

1. 为什么联合变量优化不能总由“先改文本、再改 latent”替代？
2. 扩散上有效的时间安排，为什么需要重新检查才能迁移到 flow matching？

小实验（自学设计）

固定种子与提示词，比较只优化条件、只优化 latent、联合优化三组，并让总梯度调用次数相同。把提示词分为组合关系与纹理细节两类，分别评估文本忠实度和感知质量，避免平均分掩盖适用范围。

来源

论文原文与摘要。笔记中的自测与小实验为自学设计。

原清单摘录与附图（保留原始表述）

以下内容来自原研究清单，可能包含旧标题、待验证的推测或尚未纠正的摘要。附图也可能是个人或 AI 辅助示意，未独立核验其出处与推导；阅读时以本页上方核验说明和论文原文为准。

研究想法 #49

PG-MAP 是一种针对预训练扩散模型和流匹配模型的无需训练型推理时对齐框架。该方法通过一种名为前向一致性耦合的机制，将推理过程建模为联合优化问题，实现了文本嵌入（c）与潜变量（z）的协调更新。**在扩散模型中，它通过在生成轨迹的早期阶段同步调整文本和潜变量，同时解决了组合语义失效与纹理细节欠佳的问题。而在流匹配模型中，基于局部扰动分析，该框架会自动演化为一种仅针对潜变量的末端优化方案。**实验数据表明，PG-MAP 在 PickScore 和 Aesthetic 等指标上显著优于传统方法，并获得了更高的人类视觉偏好评分。这种动态、随时间步变化的优化策略，标志着推理引导技术从静态启发式方案向更具自适应性的轨迹对齐方案的转变。