【深度学习】xLSTM成功杀入医学图像分割领域，取代Mamba成为新SOTA！

转自：我爱计算机视觉

今年以来，Mamba作为一种处理长距离依赖关系的计算模块，在医学图像分割领域取得了显著进展。而近期，来自浙江大学，魔芯科技，中科大等单位的研究人员将Mamba替换为xLSTM，提出 xLSTM-UNet(xLSTM-UNet can be an Effective 2D \& 3D Medical Image Segmentation Backbone with Vision-LSTM (ViL) better than its Mamba Counterpart)，通过引入扩展长短期记忆网络（xLSTM），在多个医学图像分割任务中表现出色，超越了基于Mamba的模型！

• 论文链接：https://arxiv.org/abs/2407.01530

• 开源代码：https://github.com/tianrun-chen/xLSTM-UNet-PyTorch

什么是xLSTM-UNet？

xLSTM-UNet是一种结合了扩展长短期记忆网络（xLSTM）和经典UNet架构的深度学习模型。传统的卷积神经网络（CNNs）在处理长距离依赖关系时存在局限，而视觉Transformer（ViTs）在处理高分辨率图像时计算开销巨大。xLSTM-UNet通过将xLSTM引入UNet架构，成功地克服了这些挑战。

为什么xLSTM-UNet如此特别？

长距离依赖捕捉能力：xLSTM作为LSTM的继任者，能够有效处理长距离依赖关系，并且在计算和内存复杂度方面表现出线性增长。相比传统的LSTM，xLSTM在神经语言处理（NLP）和图像分类任务中表现出色，展示了其在处理序列建模任务中的强大能力。

结合UNet架构：xLSTM-UNet采用了经典的UNet架构，结合了卷积层和xLSTM的优势。具体而言，xLSTM-UNet在编码器部分引入了多个xLSTM层，用于捕捉图像的长距离依赖关系和全局上下文信息。同时，保留了UNet架构中的跳跃连接（skip connections），将编码器中的特征直接传递到解码器，以保留图像的细节信息。

多层次特征提取：xLSTM-UNet在多个层次上进行特征提取，既包括局部特征，也包括全局特征。通过在编码器的多个层次上引入xLSTM块，xLSTM-UNet能够在不同分辨率和感受野上提取丰富的特征信息，从而提高分割精度。

实验结果显著，分割性能全面提升！

在多个代表性的医学图像分割数据集上，xLSTM-UNet展现了卓越的性能，显著超越了基于CNN、Transformer和Mamba的分割网络。具体而言，xLSTM-UNet在腹部MRI、内窥镜图像和显微镜图像等数据集上的表现均显著优于现有方法，展示了其卓越的性能和鲁棒性。

腹部MRI数据集：在该数据集上，xLSTM-UNet在Dice相似系数（DSC）和归一化表面距离（NSD）两个关键指标上均取得了最高分，显著优于先前的最先进模型U-Mamba。这表明xLSTM-UNet在腹部器官分割任务中具有更高的精度和可靠性。

内窥镜图像和显微镜图像细胞分割数据集：在这些数据集上，xLSTM-UNet同样在DSC和NSD指标上取得了最佳成绩，证明了其在不同医学图像分割任务中的鲁棒性和可靠性。具体而言，xLSTM-UNet在内窥镜图像中的外科手术器械分割和显微镜图像中的细胞分割任务中均表现出色，进一步验证了其广泛的适用性。

3D医学分割任务：在BraTS2023数据集上，xLSTM-UNet的表现超越了其他基线方法。无论是Dice相似系数还是HD95（Hausdorff距离95%），xLSTM-UNet在所有评估指标上均显示出其在精确分割脑肿瘤区域方面的有效性。这表明xLSTM-UNet在处理复杂的3D医学图像分割任务时具有显著的优势。

医学图像分割领域的新方向

xLSTM-UNet的成功不仅验证了xLSTM在图像分割领域的潜力，还为未来的研究提供了新的方向。通过将xLSTM与UNet架构相结合，研究人员成功地提升了模型的全局特征捕捉能力和计算效率。xLSTM-UNet解决了医学图像分割中处理长距离依赖性和优化计算资源的双重挑战，为该领域注入了新的活力。

随着xLSTM的进一步开发和优化，我们有理由相信，它将在图像分割乃至更广泛的领域中取得与Mamba和Transformer相媲美的成就，推动这一领域的持续进步。

研究相关代码和所使用数据均已经开源，欢迎访问以下链接了解更多信息：

• 项目页面：http://tianrun-chen.github.io/xLSTM-Unet/

• 论文链接：https://arxiv.org/abs/2407.01530

• 开源代码：https://github.com/tianrun-chen/xLSTM-UNet-PyTorch

往期精彩回顾
 
 
 
 
适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑

• 交流群
  

欢迎加入机器学习爱好者微信群一起和同行交流，目前有机器学习交流群、博士群、博士申报交流、CV、NLP等微信群，请扫描下面的微信号加群，备注：”昵称-学校/公司-研究方向“，例如：”张小明-浙大-CV“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~（也可以加入机器学习交流qq群772479961）