基于U-Net的递归残差卷积神经网络在医学图像分割中的应用_递归和残差

转载：

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45723705/article/details/107097488

英文原文链接: Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation

摘要

基于深度学习（DL）的语义分割方法在过去的几年里已经提供了最先进的性能。更具体地说，这些技术已经成功地应用到医学图像的分类、分割和检测任务中。一种深度学习技术—U-Net，已经成为这些应用中最流行的技术之一。本文提出了一种基于U-Net的递归卷积神经网络（RCNN）和基于U-Net模型的递归残差卷积神经网络（RRCNN），分别命名为RU-Net和R2U-Net网。该模型利用了U网络、残差网络和RCNN的优点。对于分割任务，这些提出的体系结构有几个优点。首先，在训练深层架构时，剩余单元会有所帮助。第二，利用递归残差卷积层进行特征积累，保证了分割任务更好的特征表示。第三，它允许我们在相同网络参数的情况下，设计出更好的U-Net结构，以更好地进行医学图像分割。在视网膜血管分割、皮肤癌分割和肺部病变分割等三个基准数据集上对所提出的模型进行了测试。实验结果表明，与包括UNet和残差U-Net（ResU-Net）等等效模型相比，该算法在分割任务方面具有更好的性能。

索引项—医学成像，语义分割，卷积神经网络，U-Net，残差U-Net，RU-Net，R2U-Net。

I.简介

        目前，DL为图像分类[1]、分割[2]、检测和跟踪[3]以及字幕[4]提供了最先进的性能。自2012年以来，人们提出了一些深卷积神经网络（DCNN）模型，如AlexNet[1]、VGG[5]、GoogleNet[6]、Remailture Net[7]、DenseNet[8]和CapsuleNet[9][65]。基于DL的方法（尤其是CNN）为分类和分割任务提供了最先进的性能，原因有以下几个：首先，**函数解决了DL方法中的训练问题。其次，dropout有助于使网络正规化。第三，有几种有效的优化技术可以用来训练CNN模型[1]。然而，在大多数情况下，任务和任务的分类都是用单标度数据集来评估的。另外，小的体系结构上的变体模型用于语义图像分割任务。例如，全连接卷积神经网络（FCN）也为计算机视觉中的图像分割任务提供了最新的结果[2]。FCN的另一个变体也被提出，称为SegNet[10]。

图1：医学图像分割：左侧为视网膜血管分割，中间为皮肤癌病灶分割，右侧为肺部分割。

        由于DCNNs在计算机视觉领域的巨大成功，该方法的不同变体被应用于不同的医学成像模式，包括分割、分类、检测、配准和医学信息处理。医学成像来自不同的成像技术，如计算机断层扫描（CT）、超声波、X射线和磁共振成像（MRI）。计算机辅助诊断（CAD）的目标是获得更快、更好的诊断结果，以保证对大量患者进行更好的治疗。此外，无需人工参与的高效自动处理可减少人为错误，也可减少总体时间和成本。由于人工分割方法的缓慢和繁琐，人们对计算机算法的需求很大，这种算法能够在不需要人工干预的情况下快速准确地进行分割。然而，医学图像分割存在数据匮乏、类不平衡等局限性。在大多数情况下，用于培训的大量标签（通常为数千个）不可用，原因如下[11]。对数据集进行标记需要这一领域的专家，这是昂贵的，而且需要大量的努力和时间。有时，会应用不同的数据转换或增强技术（数据加噪、旋转、平移和缩放）来增加可用标记样本的数量[12、13和14]。另外，基于图像块的方法被用来解决类不平衡问题。在这项工作中，我们评估了所提出的方法，包括基于图像块的方法和基于整个图像的方法。然而，要从基于图像块的方法切换到处理整个图像的基于像素的方法，我们必须意识到类不平衡问题。在语义分割的情况下，图像背景被分配一个标签，前景区域被分配一个目标类。因此，分类不平衡问题就迎刃而解了。文献[13，14]中引入了交叉熵损失和骰子相似性两种先进的分类和分割任务训练方法。

图2.U-Net体系结构由卷积编码和解码单元组成，以图像为输入，生成相应像素类的分割特征映射。

        此外，在医学图像处理中，全局定位和上下文调制经常用于定位任务。在识别任务中，每个像素被分配一个类别标签，该标签具有与目标病灶轮廓相关的期望边界。为了确定这些目标病灶的边界，我们必须强调相关像素点。医学成像中的目标检测[15,16]就是一个例子。在DL革命之前，有几种传统的机器学习和图像处理技术可用于医学图像分割任务，包括基于直方图特征的幅度分割[17]、基于区域的分割方法[18]和图切割方法[19]。然而，近年来，在医学图像分割、病变检测和定位领域，利用DL的语义分割方法变得非常流行[20]。此外，基于DL的方法被称为通用学习方法，其中单个模型可以有效地用于不同的医学成像模式，如MRI、CT和X射线。

        根据最近的一项调查，DL方法应用于几乎所有的医学成像模式[20,21]。此外，在不同医学影像学模式下，发表的关于分割任务的论文数量最多[20,21]。文献[22]提出了一种基于DCNN的脑肿瘤分割与检测方法。从体系结构的角度来看，用于分类任务的CNN模型需要一个编码单元并提供类概率作为输出。

        在分类任务中，我们使用**函数和子采样层进行卷积运算，从而降低特征映射的维数。当输入样本穿过网络的各个层时，特征映射的数量增加，但是特征映射的维数降低。这在图2中的模型的第一部分（绿色）中显示。由于特征映射的数量在深层增加，网络参数的数量也相应增加。最后，在网络的末端应用Softmax运算来计算目标类的概率。

        与分类任务不同，分割任务的体系结构需要卷积编码和解码单元。该编码单元用于将输入图像编码成数量更多、维数更低的映射。解码单元用于执行上卷积（反卷积）操作，以生成与原始输入图像具有相同维数的分割图。因此，与分类任务的体系结构相比，分割任务的体系结构通常需要几乎两倍的网络参数。因此，设计高效的DCNN体系结构来实现任务的分割，以减少网络参数的数量，从而获得更好的性能。

        本研究展示了两种改进的分割模型，一种使用递归卷积网络，另一种使用递归残差卷积网络。为了实现我们的目标，我们对所提出的模型在不同的医学想象模式上进行了评估，如图1所示。这项工作的贡献可概括如下：

图3.具有卷积编码和解码单元的RU-Net体系结构，使用基于递归卷积层（RCL）的U-Net体系结构。剩余单元与RCL一起用于R2U网络体系结构。

1） 介绍了两种新的医学图像分割模型RU-Net和R2U-Net。
2） 实验在视网膜血管分割、皮肤癌分割和肺部分割三种不同的医学影像模式上进行。
3） 对提出的模型进行了性能评价，分别对基于斑片的视网膜血管分割任务和端到端图像分割方法进行了皮肤病变和肺部的分割任务。
4） 与最近提出的最先进的方法进行比较，这些方法在具有相同网络参数的等效模型中显示出优越的性能。

        论文的结构安排如下：第二节论述了相关工作。第三节介绍了所提出的RU-Net和R2U-Net模型的结构。第四节解释了数据集、实验和结果。第五节讨论了本文的结论和未来的发展方向。

II. 相关工作

        语义分割是一个非常活跃的研究领域，它使用DCNNs对图像中的每个像素进行单独分类，这是由计算机视觉和医学成像领域中不同的具有挑战性的数据集推动的[23,24,25]。在深度学习革命之前，传统的机器学习方法主要依赖于手工设计的特征，这些特征用于独立地对像素进行分类。在过去的几年里，已经有很多模型被提出，这些模型已经证明了更深的网络更适合于识别和分割任务[5]。然而，由于梯度消失问题，训练非常深的模型是困难的，这是通过实现**函数，如校正线性单元（ReLU）或指数线性单元（ELU）[5,6]。这个问题的另一个解决方案是由何凯明等人提出的，一个深度残差模型克服了这个问题，利用自身映射来促进训练过程[26]。

        此外，基于FCN的CNNs分割方法为自然图像分割提供了优越的性能[2]。其中一种基于图像图像块的体系结构称为随机体系结构，它的计算量非常大，包含约134.5百万的网络参数。这种方法的主要缺点是大量的像素重叠和多次执行相同的卷积。使用递归神经网络（RNN）改进了FCN的性能，该网络在非常大的数据集上进行了微调[27]。DeepLab的语义图像分割是最先进的执行方法之一[28]。SegNet由两部分组成，一部分是编码网络，即13层VGG16网络[5]，对应的解码网络使用像素级分类层。本文的主要贡献是解码器对其低分辨率输入特征映射进行上采样的方法[10]。后来，2015年提出了一个改进版的SegNet，称为贝叶斯SegNet[29]。这些体系结构中的大多数都是使用计算机视觉应用程序进行探索的。然而，有一些针对医学图像分割的深度学习模型，因为它们考虑了数据不足和类不平衡问题。

        最早也是最流行的语义医学图像分割方法之一被称为“U-Net”[12]。基本U-Net模型的示意图如图2所示。根据结构，网络主要由两部分组成：卷积编解码单元。基本的卷积运算是在网络的两个部分中执行ReLU**之后执行的。对于编码单元中的下采样，执行2×2最大池操作。在解码阶段，执行卷积转置（表示上卷积或反卷积）操作以对特征映射进行上采样。第一个版本的U-Net被用来裁剪和复制从编码单元到解码单元的特征映射。U-Net模型为分割任务提供了几个优点：首先，该模型允许同时使用全局位置和上下文。第二，它使用很少的训练样本，并且为分割任务提供了更好的性能[12]。第三，一个端到端的流水线在前向过程中处理整个图像并直接生成分割图。这确保了U-Net保留了输入图像的完整上下文，这是与基于图像块的分割方法相比的一个主要优势[12,14]。

        然而，U-Net不仅局限于医学成像领域的应用，现在这种模型也大量应用于计算机视觉任务[30,31]。同时，已经提出了不同的U-Net模型变体，包括一个非常简单的U-Net变体，用于基于CNN的医学影像数据分割[32]。在这个模型中，对U-Net的原始设计做了两个修改：首先，从网络的一个部分到另一个部分，将多个分割图和前向特征映射的组合（按元素方向）求和。特征映射来自编码和解码单元的不同层，最后在编码和解码单元之外执行求和（元素级）。作者报告说，与U-Net相比，训练期间的性能有了很大的提高，收敛性更好，但是在测试阶段使用特征的总和时没有观察到任何好处[32]。然而，这个概念证明了特征求和对网络性能的影响。跳过连接对于生物医学图像分割任务的重要性已经用U-Net和残差网络进行了经验评估[33]。2016年提出了一种深度轮廓感知网络，称为深度轮廓感知网络（deep ContourAware Networks，DCAN），它可以使用层次结构提取多层次上下文特征，用于组织学图像的精确腺体分割，并显示出非常好的分割性能[34]。此外，Nabla网络：一种类似深挖掘的卷积结构在2017年被提出用于分割[35]。

        其他基于U-Net的深度学习方法也被提出用于三维医学图像分割任务。用于体积分割的3D-Unet体系结构从稀疏标注的体积图像中学习[13]。提出了一种基于体图像的端到端三维医学图像分割系统，称为V-net，它由一个具有残差连接的FCN组成[14]。本文还介绍了骰子丢失层[14]。此外，文献[36]提出了一种三维深度监督的医学图像自动分割方法。High-Res3DNet在2016年被提议使用残差网络进行3D分割任务[37]。2017年，提出了一种基于CNN的脑肿瘤分割方法，该方法使用3D-CNN模型和完全连接的CRF[38]。2016年，在X-net中提出了残存体素的胰腺分割。这种架构利用了残差网络和来自不同层的特征图的总和[40]。

        另外，本文提出了两种基于U-Net体系结构的语义分割模型。所提出的基于U网络的递归卷积神经网络模型被称为RU网络，如图3所示。此外，我们还提出了一个基于残差RCNN的U-Net模型，称为R2U-Net。以下部分提供了这两个模型的体系结构细节。

III. RU-NET和R2U-NET 网络结构

        受深度残差模型[7]、RCNN[41]和UNet[12]的启发，我们提出了两种分割任务的模型RU-Net和R2U-Net。这两种方法利用了最近开发的三种深度学习模型的优点。RCNN及其变体已经在使用不同基准的对象识别任务上表现出了优异的性能[42,43]。根据文献[43]中改进的残差网络，递归残差卷积运算可以从数学上加以证明。循环卷积层（RCL）的操作是相对于根据RCNN表示的离散时间步长执行的[41]。让我们考虑残差RCNN（RRCNN）块的l层中的x输入样本和位于RCL中第k特征映射的输入样本中（i，j）处的像素。另外，假设O(l,ijk)网络的输出在时间步长t处。输出可以表示为：

这里