U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读_u mamba 论文

原文，代码，数据集地址： U-Mamba

摘要：由于CNN，Transformer的局限性和计算复杂性，其处理长距离依赖关系能力有限。文章引入U-Mamba，用于生物医学图像分割的通用网络。设计出一个CNN-SSM模块。结合局部特征提取能力与SSM捕捉长距离依赖关系的能力。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。结果表明，U-Mamba 在所有任务中的表现均优于最先进的基于 CNN 和 Transformer 的分割网络。这为生物医学图像分析中的高效长距离依赖关系建模开辟了新途径。

使用理由：Mamba 在各种离散数据上都表现出了令人印象深刻的结果，但它对图像数据建模的潜力，尤其是在生物医学成像领域，仍未得到充分开发。鉴于图像本质上是从连续信号中采样的离散数据，并且在展平后可以被视为长序列。

U-Net及其变体是医学图像分割中广泛使用的网络架构。它们通常具有对称编码器解码器架构，以使用卷积运算提取多尺度图像特征。然而，这种架构设计在图像中建模长距离依赖关系的能力有限，因为卷积核本质上是局部的。 每个卷积层从有限的接受场捕获特征。虽然 U-Net 中的跳过连接有助于将低级细节与高级特征相结合，但它们主要加强了局部特征集成，而不是扩展网络建模长距离依赖关系的能力。

结构说明：U-Mamba 旨在充分利用 U-Net 和 Mamba 的优势，在医学图像分割中进行全局上下文理解。如图 1a 所示，每个构建块包含两个连续的残差块 ，后面跟着一个 Mamba 块 。残差块包含普通卷积层，后面跟着实例规范化 (IN) 和 Leaky ReLU 。然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。通过层规范化 后，特征进入包含两个并行分支的 Mamba 块。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。 在第二个分支中，特征同样通过线性层扩展为 (B, 2L, C)，然后使用 SiLU 激活函数。之后，将两个分支的特征与 Hadamard 积合并。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。

使用数据集：

实验设置：

实验结果与对比试验