配对时正确，分割时错误：解耦和编辑 MLLM 中的模态特定神经元

摘要

arXiv:2606.17057v1 Announce Type: new Abstract: Although Knowledge Editing provides an efficient mechanism for updating the knowledge of Multimodal Large Language Models (MLLMs), we find that current

knowledge the that modality for

2026-06-17 1 阅读约1分钟阅读 Tingchao Fu, Wenkai Wang, Fanxiao Li, Huadong Zhang, Jinhong Zhang, Dayang Li, Yunyun Dong, Renyang Liu, Wei Zhou

arXiv:2606.17057v1 公告类型：新摘要：虽然知识编辑提供了更新多模态大语言模型（MLLM）知识的有效机制，但我们发现当前范式仍然面临一个重要但仍未得到充分探索的问题：编辑解耦失败，当模型被多模态输入（文本-图像查询对）触发时，可以更新实体相关的知识，但是，当模型被多模态输入（文本-图像查询对）触发时，它通常会恢复为过时的预编辑事实。成对的输入被分成单峰输入。 Our in-depth empirical analysis reveals that the entity knowledge in MLLMs is not stored as a unified representation, but is instead distributed across disentangled modality-specific pathways.因此，偏向于多模态查询的更新无法有效地传播到单模态电路。为了弥补这一差距，我们提出了 DECODE，它明确地解开并定位特定于模态的神经元组以获得目标知识。大量实验表明，DECODE 在不同模态触发下始终如一地实现有效的知识更新，从而减轻编辑解耦失败。

订阅66必读