智能AI morning

简单的状态空间模型擅长多元时间序列分类

2026-05-28 1 阅读 Hassan Saadatmand, Geoffrey I. Webb, Hamid Rezatofighi, Mahsa Salehi
arXiv:2605.27406v1 公告类型:新 摘要:结构化状态空间模型 (SSM) 最近已成为序列建模的有前途的基础,基于 Mamba 的架构通过依赖于输入的状态转换展示了强大的性能,尽管其复杂性相当高。然而,它们在时间序列分类 (TSC) 中的应用很大程度上仅限于 Mamba 风格的架构,从而导致更广泛的 SSM 设计空间尚未得到充分探索。我们在大规模 TSC 基准上提出了第一个涵盖对角 SSM (S4D) 和输入相关 SSM(Mamba 系列)的系统研究,询问这种复杂性对于顶级性能是否是必要的。我们的结果揭示了一个令人惊讶的发现:S4D 在准确性和效率方面始终优于基于 Mamba 的变体,挑战了复杂性增加会转化为 TSC 有意义的收益的假设。在此基础上,我们引入了 MS4(通过线性输入投影和通道混合机制对 S4D 进行的轻量级修改)和 MS4N(一种标准化变体,可以以可忽略的开销稳定状态动态)。根据 MONSTER 的 59 个数据集(多达 6000 万个样本、50K 时间步长、82 个类别)和 UEA 基准,对照 15 个基线进行评估,MS4 和 MS4N 始终优于基于 Mamba 的模型,同时保持更高的效率,并且 MS4N 匹配或超过了参数大约大 2 倍和 10 倍的竞争深度学习模型。这些结果将轻量级结构化 SSM 定位为扩展 TSC 复杂性的引人注目的替代方案。