【YOLOv10改进 -注意力机制】Mamba之MLLAttention ：基于Mamba和线性注意力Transformer的模型_mamba与transformer结合

YOLOv10目标检测创新改进与实战案例专栏

改进目录: YOLOv10有效改进系列及项目实战目录：卷积，主干 注意力，检测头等创新机制

专栏链接: YOLOv10 创新改进有效涨点

介绍

摘要

Mamba是一种具有线性计算复杂度的有效状态空间模型。它最近在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。在本文中，我们揭示了强大的Mamba模型与线性注意力Transformer共享令人惊讶的相似性，而线性注意力Transformer在实践中通常不如传统Transformer。通过探索高效的Mamba和表现欠佳的线性注意力Transformer之间的相似性和差异，我们提供了全面的分析，揭示了Mamba成功背后的关键因素。具体来说，我们在统一的公式下重新定义了选择性状态空间模型和线性注意力，将Mamba重新表述为具有六个主要区别的线性注意力Transformer的变体：输入门、遗忘门、快捷连接、无注意力归一化、单头和修改的块设计。对于每个设计，我们仔细分析了其优缺点，并实验证明其对视觉任务中模型性能的影响。有趣的是，结果突出表明遗忘门和块设计是Mamba成功的核心贡献者，而其他四个设计则不太关键。基于这些发现，我们通过将这两个关键设计的优点引入线性注意力，提出了一种类Mamba的线性注意力（MLLA）模型。该模型在图像分类和高分辨率密集预测任务中均优于各种视觉Mamba模型，同时享有可并行计算和快速推理速度。代码可在https://github.com/LeapLabTHU/MLLA获取。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Mamba-Like Linear Attention (MLLA)是一种模型，结合了Mamba和线性注意力Transformer的优点，旨在提高模型在视觉任务中的性能。

1. 线性注意力：

   • 线性注意力是一种注意力机制，用于计算输入序列中各个位置之间的关联性。与传统的Softmax注意力不同，线性注意力使用线性归一化代替非线性Softmax函数，从而降低计算复杂度。这使得线性注意力的计算复杂度从O(N^2)降低到O(N)，提高了效率。

2. Mamba模型：

   • Mamba是一种基于状态空间的模型，具有线性计算复杂度。它通过有效地建模序列来处理长序列，适用于自然语言处理和视觉识别任务。

3. MLLA的数学原理：

   • MLLA模型将Mamba的关键设计元素（如遗忘门和块设计）与线性注意力Transformer相结合。在数学上，这意味着将Mamb