LEAP：通过前瞻早期收敛令牌检测解锁 dLLM 并行性

arXiv:2605.10980v1 公告类型：新 摘要：扩散语言模型 (dLLM) 因其在高度并行处理方面的潜力而受到广泛关注。现有 dLLM 的并行能力源于高置信水平条件独立性的假设，这确保了边际分布和联合分布之间的差异可以忽略不计。然而，保持准确性所需的严格置信阈值严重限制了并行性的可扩展性。通过系统的标记级统计分析，我们发现很大一部分标记在去噪过程的早期收敛到正确的预测，但未能达到标准置信度阈值，这证实了当前基于置信度的标准过于保守。作为回应，我们引入了 LEAP（用于加速并行解码的前瞻早期收敛令牌检测）。 LEAP 是一种免训练、即插即用的方法，利用未来的上下文过滤和多序列叠加来检测早期收敛的标记。通过验证早期收敛和正确性之间的一致性，我们可以对这些令牌进行可靠的早期解码。跨不同领域的基准测试表明，LEAP 显着降低了推理延迟和解码步骤。与基于置信度的解码相比，平均去噪步骤数减少了约30%。在 GSM8K 数据集上，将 LEAP 与 dParallel 相结合可将解码速度加快至每步 7.2 个标记，同时保持模型精度。 LEAP 有效地打破了对高置信度先验的依赖，为并行解码提供了一种新颖的范例。