UNet++: A Nested U-Net Architecturefor Medical Image Segmentation论文详解_unet++ 论文

年份 ：2018

期刊 ：IEEE Transactions on Medical Imaging

摘要:

        FCN和UNet已经被广泛应用在医学图像分割中了，但有两个限制：最佳的深度是在先验上未知的，需要广泛的架构搜索或不同深度模型的低效率集成来测试跳接。另一个就是施加了不必要的限制性融合方案，仅在编码器和解码器子网的相同比例的特征图上强制融合。

        为了缓解这两个问题，作者提出了unet++，可以用于语义分割和实例分割，主要基于三个方面：通过不同深度的U-Net的有效集成来缓解未知的网络深度，这些U-Net可以部分共享一个编码器，并且可以通过深度监督同时进行共同学习；重新设计跳接以在解码器子网络上聚合语义尺度不同的特征，从而产生高度灵活的特征融合方案；设计一种剪枝方案以加快UNet++的推理速度。

简介：

        编码器-解码器网络广泛用于现代语义和实例分割模型中。它们的成功归功于其跳接，跳接将来自解码器子网的深度、语义、粗粒度特征图与来自编码器子网的浅、低层、细粒度特征图结合在一起，并被证明，即使在复杂背景下，也可以有效地恢复目标对象的细粒度细节。跳接在实例分割模型的成功中也发挥了关键作用，其中的想法是分割并区分所需对象的每个实例。

        在自然图像中，精确的分割掩膜可能并不重要，但在医学图像中，即使是微不足道的分割错误，也会导致用户在临床环境中体验不佳.(“医学图像需要精确分割”） 我们架构背后的基本假设是，当编码器网络中的高分辨率特征图在与解码器网络中相应的语义丰富的特征图融合之前被逐渐丰富时，模型能更有效地捕捉前景物体的细粒度细节。当解码器网络和编码器网络的特征图在语义上相似时，网络将更容易完成学习任务。这与 U-Net 中常用的普通跳转连接形成鲜明对比，后者直接将高分辨率特征图从编码器快速转发到解码器网络，导致语义不同的特征图融合在一起。

网络架构：

1. 重新设计的跳过路径改变了编码器和解码器子网络的连通性。在U-Net中，编码器的特征映射直接在解码器中接收;然而，在UNet++中，它们经历一个密集的卷积块，其卷积层的数量取决于金字塔级别。本质上，密集卷积块使编码器特征映射的语义级别更接近解码器中等待的特征映射。假设是，当接收到的编码器特征映射和相应的解码器特征映射在语义上相似时，优化器将面临更容易的优化问题。

网络具体架构如下图一所示：

2. 我们建议在UNet++中使用深度监督，使模型能够在两种模式下运行:1)精确模式，其中所有分割分支的输出都是平均的;2)快速模式，仅从一个分割分支中选择最终的分割映射，其选择决定了模型修剪的程度和速度增益。图1c显示了快速模式下分割分支的选择如何导致不同复杂性的架构。

3. 为了解决网络要有多深这个问题，作者使用了非常多的短连接将所有层联系起来。使得网络包含所有深度的子网络，网络可以去学习不同深度的网络的重要性。但是如果只加短连接会导致反向传播的路径断开，这时作者想到用深度监督来解决。在图中X0,1、X0,2、X0,3、X0,4后面加一个1×1卷积核，相当于去监督每个分支的Unet的输出。这样就解决了结构无法训练的问题。

实验：

        数据集:如表1所示，我们使用四种医学成像数据集进行模型评估，涵盖不同医学成像方式的病变/器官。

基线模型:为了比较，我们使用了原始的U-Net和定制的宽U-Net架构。我们选择U-Net是因为它是图像分割的常用性能基准。我们还设计了一个宽U-Net，其参数数量与我们建议的架构相似。这是为了确保我们的架构产生的性能增益不仅仅是由于参数数量的增加。表2详细介绍了U-Net和wide U-Net架构。

实施细节：我们对 Dice 系数和联合交叉（IoU）进行了监控，并在验证集上使用了提前停止机制。Adam优化器的学习率为 3e-4。跳过路径xi,j上的所有卷积层都使用 3×3 大小的 k 个核（或 3×3×3 用于三维肺结节分割），其中 k = 32 × 2i。为实现深度监督，在每个目标节点上都添加了一个 1×1 卷积层和一个 sigmoid 激活函数。

        

       根据表三，没有深度监督的 UNet++ 比 UNet 和宽 U-Net 都取得了显著的性能提升，IoU 平均分别提高了 2.8 和 3.3 个百分点。采用深度监督的 UNet++ 比不采用深度监督的 UNet++ 平均提高了 0.6 个百分点。具体而言，使用深度监督可明显改善肝脏和肺结节的分割，但在细胞核和结肠息肉分割方面，这种改进则消失了。这是因为息肉和肝脏在视频帧和CT切片中出现的范围不同。

据上表，UNet++ L3 平均减少了 32.2% 的推理时间，而 IoU 仅降低了 0.6 个点。更激进的剪枝进一步缩短了推理时间，但其代价是精确度显著下降。

创新点：

        基于当解码器网络和编码器网络的特征图在语义上相似时，网络将更容易完成学习任务这个假设，他们想要构造一个密集链接的模型。这个综合长连接和短连接的方案就是作者他们在MICCAI中发表的UNet++,也就是说这里的短连接是为了使模型能够得到训练,然后长连接是获得更多信息。

        Unet++还可以抓取不同层次的特征,将它们通过特征叠加的方式整合。 不同层次的特征，或者说不同大小的感受野，对于大小不一的目标对象的敏感度是不同的，比如，感受野大的特征，可以很容易的识别出大物体的，但是在实际分割中，大物体边缘信息和小物体本身是很容易被深层网络一次次的降采样和一次次升采样给弄丢的，这个时候就可能需要感受野小的特征来帮助.而UNet++就是拥有不同大小的感受野,所以效果好。

        对于剪枝：在深监督的过程中，每个子网络的输出都其实已经是图像的分割结果了，所以如果小的子网络的输出结果已经足够好了，我们可以随意的剪掉那些多余的部分。这也是对unet网络的一个很大改进。