掩蔽离散序列模型中成对互信息的神经估计

arXiv:2605.20187v1 公告类型：新 摘要：理解变量之间的依赖性对于掩蔽扩散模型 (MDM) 的可解释性和高效生成至关重要，但这些模型主要暴露边际条件分布，并且不明确表示变量间的依赖性。我们提出了一种神经框架，用于直接从预训练 MDM 的隐藏状态估计成对条件互信息 (MI)，使用根据模型自身的条件分布计算出的真实 MI 进行监督。生成的估计器捕获模型关于依赖结构的内部信念，并在单个前向传递中预测完整的 MI 矩阵，从而通过识别条件独立的变量子集来实现 MI 引导的并行解码。我们使用 ESM-C 评估我们的数独和蛋白质序列生成方法，其中 MI 图恢复已知的结构约束，与顺序解码相比，可以将推理时间前向传递减少 3-5 倍，同时保持生成质量并优于基于熵的并行化方法。