EMNLP'26 | 清华北邮联合警告：扩散式VLM的安全防线步步失守

新智元报道 视觉语言模型已经进入办公助手、内容审核、机器人和智能终端等场景。 它们面对的任务不再只是读一段文字，而是同时理解图片、文字以及两者之间的关系。 因此，模型的安全边界也不再是「这句话是否危险」这么简单：一句话可能没有明显风险，一张图片单独看也可能没有触发拒答，但图文合在一起后，模型是否还能准确判断真实意图？ 更值得注意的是，模型生成答案的方式正在发生变化。 传统的自回归视觉语言模型，可以粗略理解为「先看图，再从左到右写答案」：图片经过编码后，形成一段视觉信息，随后参与语言生成。 离散扩散视觉语言模型（discrete diffusion vision-language models，简称dVLM）则像是在一张被遮住的答卷上逐步揭开答案：模型先从大量被遮蔽的文字状态出发，经过多轮去噪，逐步恢复完整回复。 这两种方式有一个关键差别：自回归模型中的视觉信息更接近一次性注入，而dVLM在每一轮去噪中都可能重新使用视觉条件。如果图片中包含某种不易被表面规则发现的风险语义，那么它就有机会在多个阶段反复影响模型。 清华大学与北京邮电大学将这种现象称为 跨步条件传播（Cross-Step Conditional Propagation） 。这里的「传播」不是说图片真的在模型里复制，而是指视觉条件在连续生成步骤中不断参与计算，影响可能沿着生成轨迹累积。 论文链接： http://arxiv.org/abs/2609.05525/ 项目主页： https://loststars2002.github.io/DIVA_project_page/ 代码 仓库 ： https://github.com/loststars2002/DIVA 对于这类离散扩散视觉语言模型，同一份隐藏在图片中的风险信号，可能像被反复提醒一样，沿着生成过程持续发挥作用。团队提出的DIVA越狱攻击方法，正是利用了这一生成特点，对模型的安全对齐进行压力测试。 图1： dVLM模型可以正确拒绝有害文本或图片的输入；但在引入 DIVA 扰动并进行文本重写后，同一模型产生了有害回复 DIVA到底是什么？ DIVA的全称是 Discrete-diffusion Vision-language model Attack ，是一种面向离散扩散视觉语言模型的 白盒视觉越狱攻击方法 。它的目标不是修改模型参数，也不是宣称所有模型都必然失效，而是在研究者能够访问模型参数和梯度的条件下，构造一种有界的视觉输入扰动，用来检验模型在完整去噪过程中的安全稳定性。 DIVA并不是简单地给图片加入噪声，而是围绕dVLM的多轮生成机制设计了一条完整的攻击链路。整体方法由 跨模态意图混淆 和 扩散感知的对抗优化 两部分组成，前者负责重新组织图文语义，后者负责让受限视觉扰动适应多个去噪状态。 1. 先明确攻击者能做什么：白盒、输入侧、有限改动 DIVA采用白盒威胁模型。研究者可以访问目标dVLM的参数、梯度、视觉编码器以及训练时使用的遮蔽接口，但不能修改模型权重。攻击只发生在推理输入端：在原始图像上叠加受到像素幅度约束的扰动，并配合经过改写的文本提示，随后让模型按照原本的反向去噪流程生成答案。 这一设定有两个作用。一方面，它可以建立当前机制下的攻击上限；另一方面，它能把「跨步条件传播」本身的影响，与黑盒迁移、代理模型误差等因素区分开来。因此，论文结论首先说明dVLM内部确实存在可被利用的结构性攻击面，并不等于同一扰动可以直接攻击所有商业模型。 2. 跨模态意图混淆：把一条显式指令拆到图文两端 DIVA首先对原始风险指令进行文本侧改写，将直接出现的对象、动作或目标替换为依赖图片才能理解的指代表达。改写后的文字本身不再承载全部语义，但仍会引导模型调用视觉信息。 与此同时，被移出文本的关键语义被放入一张复合图像。该图像由两类内容组合而成：一类是承载关键词线索的文字层，另一类是与目标语义相关的视觉内容。两者通过叠加或拼接形成复合图像，使完整意图分布在文字和视觉两个通道中。 这可以类比为把一条信息拆成两把钥匙：单独检查文字或图片，看到的都不是完整意图；模型进行多模态融合时，才会把两部分重新联系起来。这个步骤暴露出单模态过滤的局限，也为后续的视觉扰动优化提供了语义载体。 3. 跨步条件传播：为什么同一张图会反复产生影响？ 在自回归VLM中，图像通常先被编码为固定的视觉前缀，后续文字再从左到右展开。DIVA将这种作用方式概括为「静态条件」：视觉信息主要在生成开始时进入模型。 而在dVLM中，回答最初是一串被遮蔽的token。模型每完成一轮去噪，都会根据当前的部分答案、文本提示和图像特征，继续恢复下一批token。由于图像特征在每一轮都重新参与计算，同一份视觉语义便可能从早期状态一直影响到后期状态。这就是DIVA所利用的跨步条件传播。 图2：自回归VLM与离散扩散VLM的视觉条件路径对比 4. 扩散感知优化：不押注一个时刻，而是覆盖多个去噪状态 普通视觉攻击往往围绕一次前向计算优化输入。DIVA则在每次更新时，从完整去噪轨迹中抽取多个时间步，并按照各时间步的遮蔽比例构造不同的中间回答状态。遮蔽比例较高时，模型面对的是尚未成形的早期答案；遮蔽比例较低时，模型已经接近生成结束。 对于每个时间步，DIVA只计算被遮蔽位置上的预测损失，衡量当前图像能否推动模型恢复预设的非拒答目标。随后，它把多个时间步的损失取平均，让同一份扰动同时适应多种中间状态。换句话说，DIVA优化的不是某一帧「快照」，而是整段生成轨迹中的持续影响。 梯度会依次经过视觉编码器、多模态投影层和双向扩散Transformer，再返回输入图像。每次更新后，扰动都被投影回规定的像素范围，并将最终图像裁剪到合法取值区间。因此，模型参数和解码规则始终不变，变化只存在于输入图像中。 5. 为什么只用一个很短的目标，而不是预先编写完整回答？ DIVA在优化阶段使用一个很短的肯定式、非拒答前缀作为教师强制目标，目的是推动模型跨过「拒绝还是继续回答」的决策边界，而不是要求模型机械复现一段预先写好的完整内容。完成优化后，攻击效果由模型的自由生成结果决定，并交给独立的安全评估器进行事后判断。 这种设计减少了对外部未对齐模型的依赖，也把研究重点放在安全策略是否被绕过，而不是对固定文本的记忆或复述上。 6. 类别级共享扰动：检验共性，而不是记住一个问题 DIVA并非为每条问题单独学习一份扰动，而是面向同一风险类别中的多条提示，联合优化一个共享扰动。训练时，不同提示轮流进入优化过程，每条提示又覆盖多个去噪时间步。这样得到的扰动需要同时适应「多问题」和「多状态」，从而减少对单一句式的过拟合。 在实际推理时，只需把预先离线计算的类别级扰动加入对应复合图像，再将图文输入交给原始dVLM。模型结构、权重以及标准反向去噪过程均不需要修改。论文报告的计算也表明，主要成本发生在离线优化阶段；储存扰动在推理时只涉及图像相加与裁剪。 图3：DIVA完整流程。左侧进行跨模态意图混淆，右侧在多个去噪时间步上联合优化受限视觉扰动 概括来说，DIVA的完整链路是： 拆分图文语义—构造复合图像—采样多个去噪状态—汇总各阶段损失—在像素约束内更新扰动—以类别为单位离线共享—使用