Unet（2D Unet&3D Unet）和Vnet——图像分割_vnet分割

参考博客：

https://blog.csdn.net/qq_36484003/article/details/108874913

https://blog.csdn.net/weixin_41424926/article/details/103105801

代码参考：

https://github.com/liyun-lu/unet_and_vnet

目录

2D U-net

3D U-net。

V-net

---

2D U-net

以全连接卷积神经网络为基础设计的。

创新点：上采样，下采样，U型结构，短接通道（skip connection）

下采样：传统的特征提取路径，简称压缩路径，将特征压缩成由特征组成的特征图。

上采样：经过复原路径，简称扩展路径，将提取的特征图解码为和原来图像尺寸一致的分割后的预测图像。

另外，copy and crop 即大红色箭头所指的操作，是为了降低压缩路径中图像信息的丢失，将压缩后的特征图叠加在扩展路径上同尺寸大小的特征图上，再进行卷积核上采样操作，以此来整合更多信息进行图像分割。

结构理解如是：从左上方开始到右上方结束就是一个完整的Unet路径。

左侧第1层stage1-----输入572*572*1的单通道图像，经过蓝色箭头3*3的卷积核的卷积，Relu激活，变为570*570*64的64通道图像（n-f+1=572-3+1=570）。同理，变为568*568*64的64通道图像。

在stage1结束后，经过红色箭头最大池化2*2，图像尺寸缩小一倍，得到284*284*64的64通道图像。然后进入左侧第2层stage2，每次图像尺寸缩小一倍，特征图的通道数要扩大一倍，经过蓝色箭头3*3的卷积核的卷积，Relu激活，变为282*282*128。同理，变为280*280*128的128通道图像。

..................

直到左侧的第5层stage5，即最底层，此时完成了压缩路径，此时特征图大小为28*28*1024。然后开始右侧的扩展路径。

经过绿色箭头2*2的反卷积（转置卷积），可以将图像尺寸扩大一倍，同时特征图的通道数缩小一倍，得到56*56*512的图像。再叠加上从压缩路径第4个stage池化前的特征图复制过来的，组合成56*56*1024的图像。这里叠加的特征图是为了降低压缩路径中图像信息的损失。再经过蓝色箭头的两次卷积，得到52*52*512的512通道图像，512是强制得到的吗？？目前我是这么理解的，不对之处麻烦批评指正。

以此类推，上采样，卷积，最后得到388*388*2的2通道图像，之所以是2 是因为作者做的是前景和后景的分类，如果是多分类，改成相应的类的数目即可。

（这里还有个问题，为什么输入的是572*572的图像，输出的却是388*388的图像？

答：这里作者在预处理图像时用了一个小技巧“Overlap-tile”。如图所示，实际要分割的是左图中黄色的区域，如果只用黄色区域分割，那么黄色的边缘效果肯定会很差，故为了保证边缘分割效果，输入图像的尺寸要稍微比原图像大一些，就是蓝色区域。如果蓝色区域超越了原始图像的边缘，也不能用0-padding来填充，而是要使用镜像方式进行padding，这样至少能保留细胞轮廓的完整性。

因此，蓝色区域就是572*572，黄色区域就是388*388。在完成下一个黄色区域的预测时，蓝色区域会有所重合，因此成为Overlap-tile

）

3D U-net。

创新点：将2D Unet的2D操作换成3D操作

2D U-net和3D U-net区别：通道数翻倍的时刻和反卷积操作不同。

（1）在2D U-net中，通道数翻倍的时刻是在下采样后的第一次卷积时；在3D U-net中，通道数翻倍的时刻是在下采样或上采样前的卷积中。

（2）对于反卷积操作，2D U-net中通道数减半，而3D U-net中通道数不变。

（3）另外，3D U-net还使用batch normalization来加快收敛和避免网络结构的瓶颈。

V-net

此模型是针对3D图像提出来的。

创新点：1、引入残差，在每个stage中，Vnet采用了ResNet的短路连接方式（水平方向的残差链接使用element-wise）；2、卷积层代替上采样和下采样的池化层。

V-Net 就是对U-net的一个变形。此时的数据集可以直接用3D数据集。最后输出的也是单通道的3D数据。因此在这个论文里做的是二分类问题，所以他们采用了医学图像常用的Dice loss。

另外，咋下采样和上采样时不是采用的最大池化和反卷积，而是使用的卷积和反卷积。

假设A是预测出的所有前景像素集合，B是ground truth的前景像素集合

如果想要多分类，则需要将通道数更改下。