Mamba卷到多模态融合！最新SOTA推理提速49%，GPU内存使用减少83.7%

华科大最新提出Coupled Mamba，利用耦合的状态空间模型来增强不同模态之间的信息融合，实现了49%的推理提速，减少了83.7%的GPU内存占用。

这类基于Mamba的多模态融合方法利用了Mamba独特的结构设计和算法优化，能更有效地提取和融合不同模态的特征信息，从而提高系统的整体性能和处理效率。

也正因它的高效率和高准确率，这种结合策略成为了多模态数据处理的重要方法，在解决图像融合、语义分割、目标检测等任务方面给我们提供了新的思路和创新空间。

目前已有多个最新成果在各项关键指标上都达到SOTA。为帮助有论文需求的同学快速掌握其最新动态，我这次整理了11个Mamba+多模态融合最新方案，开源代码也分享了。

论文原文+开源代码需要的同学看文末

Coupled Mamba: Enhanced Multi-modal Fusion with Coupled State Space Model

方法：本文提出了一种名为Coupled Mamba的新方法，这种方法基于 Mamba 模型，通过状态的演变来实现模态间的融合，特别适用于处理具有复杂内部和跨模态相关性的多模态数据。与现有最先进方法相比，Coupled Mamba推理速度提高了 49%，GPU 内存使用减少了 83.7%。

创新点：

• Coupled Mamba是一种创新的方法，旨在通过在状态空间中利用状态演化链来增强多模态融合的效果。

• Coupled Mamba通过在状态转换之前进行求和，提出了一种更加内存高效的方法，以实现相似的性能并提高计算效率。

• Coupled Mamba通过耦合多个模态的状态链，同时保持内部模态状态过程的独立性，解决了多模态融合中的挑战，同时在硬件感知并行设计下实现了高效的耦合状态转换方案。

ML-Mamba: Efficient Multi-Modal Large Language Model Utilizing Mamba-2

方法：本文介绍了一种多模态大型语言模型（MLLM）ML-Mamba，该模型采用了效率高的Mamba-2模型来替代传统的Transformer基础模型，并探索了将二维视觉选择性扫描机制集成到多模态学习中的方法。

创新点：

• 引入了一种新颖的多模态连接器，用于处理计算机视觉中模糊因果关系的挑战。MSC模块通过引入两种2D扫描机制，将传统的状态空间模型（SSM）的1D序列处理能力和2D非因果图像信息进行了连接。

• ML-Mamba使用了最新的Mamba-2语言模型作为基础模型。相比传统的Transformer模型，Mamba-2具有更高的计算效率和更好的序列建模能力。

CFMW: Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions

方法：论文提出了一种名为CFMW的新方法，该方法利用了 Mamba 模型来增强在恶劣天气条件下的检测精度。CFMW在恶劣天气条件下的多光谱对象检测任务中取得了显著的性能提升，实现了约17%的检测性能改进，并在节省51.2% GPU内存的同时，与现有的最先进方法相比，在准确性上提高了约8%。

创新点：

• 引入了一个新的任务，即在恶劣天气条件下进行可见光-红外目标检测，并开发了SWVID新数据集，模拟真实世界的环境。SWVID包括60000对可见光-红外图像和标签，涵盖了雨、雾和雪等天气条件。

• 提出了一个新的方法，称为CFMW，用于在恶劣天气条件下进行多光谱目标检测。

• 引入了一种新的Weather Removal Diffusion Model和Cross-modality Fusion Mamba 模块，以同时解决图像去除天气和可见光-红外目标检测任务。

Cobra: Extending mamba to multi-modal large language model for efficient inference

方法：论文提出了一种名为Cobra的新型多模态大型语言模型，该模型将高效的Mamba语言模型扩展到多模态输入，以提高推理效率。实验证明Cobra在克服视觉幻觉和空间关系判断方面表现良好，并且即使参数数量只有LLaVA的约43%，也能达到与LLaVA相当的性能。

创新点：

• 在训练策略方面，作者发现将语言模型进行两个时期的微调可以提高性能，并且预对齐阶段的训练并不能改善模型的性能。

• 在多模态融合方案方面，作者通过实验探索了各种融合策略的有效性，并确定了能够产生最有效的多模态表示的方法。

关注下方《学姐带你玩AI》