视觉Mamba:基于双向状态空间模型的高效视觉表征学习_vmamba: visual state space model论文解读

摘要

https://arxiv.org/pdf/2401.09417v1.pdf
最近，具有高效硬件感知设计的状态空间模型（SSMs），例如Mamba，在长序列建模方面展现出了巨大潜力。纯粹基于SSMs构建高效和通用的视觉骨干网络是一个吸引人的方向。然而，由于视觉数据的空间敏感性和视觉理解的全局上下文需求，用SSMs表示视觉数据是一项挑战。本文表明，视觉表示学习对自注意力的依赖不是必需的，并提出了一个新的通用视觉骨干网络，该网络使用双向Mamba块（Vim），通过位置嵌入标记图像序列，并使用双向状态空间模型压缩视觉表示。在ImageNet分类、COCO目标检测和ADE20k语义分割任务上，Vim与DeiT等完善的视觉变换器相比性能更高，同时还显著提高了计算和内存效率。例如，Vim比DeiT快2.8倍，在执行批量推理以提取分辨率为1248×1248的图像特征时节省了86.8%的GPU内存。结果表明，Vim能够克服在执行高分辨率图像的Transformer风格理解时的计算和内存限制，并且有潜力成为下一代视觉基础模型的骨干网络。

1. 引言

最近的研究进展引发了对状态空间模型（SSM）的极大兴趣。源自经典的状态空间模型[30]，现代的SSM在捕捉长距离依赖方面表现出色，并受益于并行训练。一些基于SSM的方法，如线性状态空间层（LSSL）[22]、结构化状态空间序列模型（S4）[21]、