智能AI
morning
AI视觉创作总差点意思?中科大等综述500+篇文献,系统分析生成一致性
2026-07-02
1 阅读
约10分钟阅读
新智元
字号:
新智元报道 【新智元导读】 扩散模型已经越来越会「画」,却还远没有学会「守住要求」。决定系统是否可靠的,已不再只是画质,而是生成结果能否持续遵守条件、维持状态,并符合人类与现实世界的基本标准。 过去几年,扩散模型最显著的进步,是生成质量越来越高。 从文生图、图像编辑,到个性化生成、视频和三维内容创建,模型已经能够产生非常逼真的视觉结果。很多时候,一张生成图片单独摆在面前,我们甚至很难判断它是否来自真实世界。 但当生成任务变得复杂,一个比画质更基础的问题开始暴露出来: 图像看起来正确不代表模型真的完成了任务。 你要求模型生成三只猫,它可能只画出两只;你要求红色方块位于蓝色圆球左边,模型可能生成了两个物体,却把颜色和位置关系弄反;你让模型连续生成同一个人物,它可能在每张图片里都画出一张好看的脸,但这些脸并不属于同一个人。 视频中的问题更加明显。每一帧单独看都很逼真,人物的衣服却不断变化,手里的物体会突然消失,前一秒建立的场景状态在后一秒不复存在。多视图生成也一样:每个角度都像一件合理的物体,但这些视图放在一起,却无法还原成同一个三维结构。 这些失败并不完全属于「生成质量差」。更准确地说,它们属于另一类问题: 模型没有稳定地遵守它应该遵守的关系, 即 生成一致性。 中国科学技术大学、火箭军工程大学、清华大学、华中科技大学、剑桥大学等机构的研究者们共同发表的重磅综述,系统梳理了超过500篇论文,揭示了扩散模型视觉内容合成繁荣表象下的「一致性危机」,并将领域内的混乱研究梳理的条理清晰,描绘了一幅关于「一致性」关系分类、评估方法与优化策略、核心挑战与未来机遇的全景图。 论文地址: https://www.preprints.org/manuscript/202606.0870/v1 开源地址: https://github.com/Shawn-CodeDev/Awesome-Consistency-Diffusion-Visual-Generation 与按照文生图、编辑、个性化、视频、三维生成和安全等任务分别介绍不同,研究人员尝试从更基本的问题出发: 生成结果究竟需要和什么保持一致? 沿着这个问题,原本分散在文生图、可控生成、编辑等领域中的研究可以被重新组织为三种关系:生成结果与外部条件的一致、不同生成状态之间的一致,以及生成内容与人类及现实世界标准的一致。 这三种关系分别对应扩散生成从「听懂要求」,到「维持状态」,再到「符合可部署标准」的三个层次。 沿着这一框架,研究人员进一步讨论一致性可以在生成流程的哪些位置被实现、为什么现有指标经常测不准,以及当多种要求相互冲突时,下一代生成模型真正需要解决什么问题。 生成模型需要维护三种关系 三类一致性关系及其失败模式 第一种关系,是结果与用户条件之间的关系。 用户输入了一段文本、一个布局、一张参考图或一条编辑指令,模型是否真正实现了这些要求?将其称为 外部一致性 。 外部一致性 文生图中的物体遗漏、属性错绑、数量错误和空间关系混乱,都属于外部一致性失败。模型可能理解了prompt的主题,却没有把文本中的对象、属性和关系准确对应到视觉内容中。 Attend-and-Excite原理 例如,「一只戴着皇冠的狮子」并不只是要求画出狮子和皇冠,还要求皇冠被正确绑定到狮子上。模型如果只画出狮子,或者把皇冠放在旁边,即使图像本身很漂亮,任务也没有完成。 Attend-and-Excite、BoxDiff、GLIGEN 等方法所解决的,本质上就是语言条件没有被充分落实的问题。它们通过注意力修正、空间约束或 grounding 机制,加强文本单元与视觉实体之间的对应关系。 ControlNet原理 ControlNet、T2I-Adapter和IP-Adapter则把外部条件从文本扩展到姿态、深度、边缘、布局和参考图像。它们试图确保这些条件不只是「提供给模型」,而是真正进入去噪过程并影响最终结果。 图像编辑同样属于外部一致性,但它多了一层特殊要求:模型不仅要执行指令,还要保护不应该变化的内容。 DiffEdit原理 而「把马变成斑马」这一指令并不意味着允许模型重新生成整个画面。一个合格的结果必须改变目标对象,同时保持原有姿态、构图、背景和其他区域。DiffEdit、Prompt-to-Prompt 和 InstructPix2Pix 等方法的核心差异,就在于它们如何划定编辑范围,以及如何减少编辑对无关内容的影响。 因此,外部一致性关注的并不是模型有没有接收到条件,而是这些条件是否可以在最终结果中被清楚追踪。 第二种关系,是多个生成结果之间的关系。 当同一个主体出现在不同图片、不同视角或不同时间中时,模型是否仍然维护着同一个对象和同一个世界?我们将其称为 内部一致性 。 内部一致性 个性化生成是最直观的例子。 Dreambooth和PhotoMaker原理 DreamBooth 将人物身份写入模型参数,PhotoMaker 和 InstantID 则把参考图片编码成身份特征,在推理时注入生成过程。 两条路线使用了不同的技术手段,但解决的是同一个问题:当背景、姿态、动作和风格发生变化时,哪些信息必须保持稳定,才能让人仍然认为这是同一个主体? 这里需要区分外观复制和身份持续。复制一张参考图中的脸相对容易,困难的是在视角、姿态和场景改变后,仍然保持人物的脸部结构、发型、服装、配饰和角色特征。 SyncDreamer原理 多视图生成将同一个问题推进到了三维层面。模型不能只生成若干张彼此相似的图片,而必须让这些图片能够由一个共同的几何结构解释。Zero-1-to-3 通过参考图和相机变化预测新视角,SyncDreamer 和 MVDream 则在过程中联合多个视角,使它们共享中间状态。 AnimateDiff和StoryDiffusion原理 视频和故事生成面对的也是类似问题,只是共享状态沿时间延伸。AnimateDiff 通过运动模块建立短程帧间联系,StoryDiffusion、TaleCrafter 等方法进一步尝试维护角色、服装、场景和事件状态。 从这个角度看,视频生成并不是连续生成很多张图片,而是在不断回答一个状态问题: 前面已经发生了什么,接下来允许发生什么? 只要模型缺乏持久状态,即使每一帧都足够真实,长序列仍然会出现身份漂移、物体消失、动作断裂和事件矛盾。 第三种关系 不来自当前prompt,也不只存在于不同生成结果之间,而来自系统默认应该遵守的评价标准,将其称为规范一致性。 规范一致性 一张图可以完全符合 prompt,也可以在不同场景中保持人物身份,但它仍然可能不符合人类偏好、包含不安全内容,或者违反基本的物理和因果规律。 偏好优化、安全生成和物理世界建模表面上属于不同研究方向,但它们共享一个结构:模型需要与某种长期生效的标准保持一致。 Diffusion-DPO原理 ImageReward、HPS 和 VisionReward 等方法尝试从人类选择中学习「什么样的结果更好」;Diffusion-DPO、FlowGRPO 和 DiffusionNFT 等方法进一步利用这些信号优化生成模型。 安全方法则通过训练目标、参数编辑、采样引导或输出过滤,降低危险内容的生成
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱