通过专家混合应对多模式学习挑战：一项调查

arXiv:2605.27431v1 公告类型：新 摘要：专家混合 (MoE) 为多模式学习提供了一个自然兼容且可扩展的框架，展示了跨不同模式和任务的强大适应性。尽管取得了越来越大的成功，但仍然缺乏对教育部应对多式联运挑战的方法进行全面和系统的审查。现有的调查倾向于独立于方法分类来评估多模式学习或 MoE，而忽视了它们之间独特的相互作用。这项调查通过回答一个核心问题来填补这一空白：\textit{MoE 如何有效解决多模态挑战？}我们从三个关键角度来解决这个问题：（1）\textbf{MoE 作为高效的多模态引擎：}通过将计算成本与参数增长分离并通过选择性专家激活减轻模态冗余来实现可扩展的多模态建模； (2) \textbf{MoE 作为多模态表示学习器：}整合互补的多意见专家知识来丰富对齐和交互表示； (3) \textbf{MoE 作为多模态适配器：}提供模块化且灵活的机制来建模不完美的数据场景，例如模态不平衡和模态缺失。通过广泛的文献回顾，我们发现了关键的研究差距，包括可解释的路由、专家沟通、模态集成和终身多模态学习。我们将这项调查定位为未来研究可解释和可持续的多模式专家混合系统的基础。