论文阅读——FD-UNet:Fully Dense UNet for 2D Sparse Photoacoustic Tomography Reconstruction

论文阅读之FD-UNet:Fully Dense UNet for 2D Sparse Photoacoustic
Tomography Reconstruction
FD-UNet原文

Abstract

摘要：在光声成像领域（PAT）的限制之一是测量用的声波只能稀疏采样后用于图像的重建，但会导致较为严重的图像信息缺失。本文提出一种全密集连接的UNet框架用于重建稀疏采样的2D PAT图像。

Section I Introduction

PA 成像集合了光学成像和声学成像的优点，既可以达到光学的高对比度又具有声学探测的检测深度及高分辨率，但PAT重构时只能在空间上稀疏采样，由于物理和成本限制不可能设置完全足够的探测器，因此重构的图像十分模糊，而人工处理如平滑、滤波等又费时费力。
而UNet又在医学图像分析领域取得了较好的成果，基于CNN的图像重建更加快捷，Related work近期也有用UNet进行CT、PAT图像的重建。
因此本文则提出了FD-UNet，在UNet的收缩和扩展路径中均引入dense connectivity密集连接。密集连接避免了冗余特征的学习，增强了信息流动，在性能接近的前提下进一步减少了网络参数。网络参量的减少降低了计算成本，进行图像重建时可更加快捷。本文最终还在图像重建质量上对FD-UNet进行了对比。

Section II Method

** Part A FD-UNet**
FD-UNet是以UNet的收缩-扩展的U型结构为基础，通过一级一级的做大池化进行多极特征的分解，随后经过转置卷积输出上采样后重构的图像，这样的网络可以学到从局部到全局的多级特征。而DenseBlock中是通过增长率k这个参数来学习到想要的特征图谱的数量，通过设定每一层的增长率，每一层可以使用相同数目的conv层。而UNet中的skip connections结构通过级联的方式允许在上采样过程中使用之前（contracting path)中学到的高分辨率的特征。而在每一个dense block上采样之间，都会将之前级联后拥有2f个通道的特征图通过11conv压缩到f/2厚。
而在每一个denseblock中，前层conv的输出将会以通道级联的方式连接到后续所有层的输入，最终每一个dense-block输出的也是将输入和每一层输出级联的结果。
因此密集连接模块是在每一层输入和输出之间加入skipcpnnection。而与残差网络的不同之处在于，在残差学习中使用的是将输入输出的残差作为后续的输入。
Dense-block的结构如下图所示，原来UNet中的33conv在FD-UNet中被dense-block替代。

Part C 生成训练和测试数据
训练和测试数据通过k-Wave生成，k-Wave是一款用于超声、光学仿真的开源软件。通过build-in function的设置模拟稀疏采样后的声压，在通过TR（time-reversal)重构含有失真的图像，使用的数据集来自circle dataset、Shepp-Logan dataset及小老鼠脑血管CT图像。
circle dataset：通过设置15、30、45个探测器收集原始数据，并每次获得1000张图像用于训练，200张图像用于测试。
Shepp-Logan dataset:使用了resize\rotate\translate等预处理,通过30个detectors，train:test = 100:200
小老鼠脑部血管CT：34组0.8mm厚的slice图，虽然这一数据集不是专门的PA图但可以作为补充实验，因为是真实的血管图像
Part D 实验实施细节
实现框架：Tensorflow
硬件加速平台：GTX-1080
loss function:MSE
UNet使用的是2个连续的3*3 conv，而FD-UNet用dense-block替代了该部分。

Section III 实验及结果分析

实验主要探究密集连接对提升重建效果是否有效，衡量指标是原图与复原图的峰值信噪比（PSNR）
Part A circle dataset
(a)经过TR重构的图像含有较多失真，而使用UNet和FD-UNet重建均有较为成功的重建图像，但Fig5(b)可以看出在UNet出现失真时FD-UNet保持了较好的重建结果。从Table1也能看出FD-UNet在参数量更少的前提下具有更高的PSNR，模型的鲁棒性也更强。而且最简洁的FD-UNet效果就已经优于UNet。
训练过程中可以看到iteration=4000后MSE LOSS就基本收敛了，但是UNet波动的更厉害
最终的重建效果对比：
Part B Shepp-Logan dataset
Fig 8和Table 3展示了小鼠脑血管CT的重建结果，虽然在initial数据上重构的PSNR较低，微调的PSNR较好。另一点可以看出对背景的artifact移除较好；而在vasculature数据集上FD-UNet普遍比UNet的PSNR高

Part C 小鼠脑血管CT
前两部分实验并未基于实际CT图，此部分实验可以看到FD-UNet对背景的去除及较大血管的重建恢复效果，但对毛细血管均有细节上的丢失，因此FD-UNet和UNet与TR相比，仅有部分PSNR提升.这里就没有列Table了，叙述了一下实验PSNR结果：
FD-UNet:27.43±1.11
U-Net：27.08±1.22
TR：26.88±1.10

Section IV Discussion

本文提出FD-UNet，将密集连接机制引入UNet用于PAT图像的重建。通过dense connectivity的引入在降低网络参量的前提下提升了图像重构的质量。这样计算成本低，重构也更快。通过3部分实验证实了dense connectivity有效解决了网络过拟合的问题以及可以让网络学习到更加多样性的图像特征。通过UNet和FD-UNet的loss函数分析可以看到，UNet的波动性更大也共容易过拟合。
另一方面，dense connectivity提升了信息流动性及特征复用，从第二部分实验最精简的FD-UNet就比较复杂的UNet取得了更高的重构性能。

第三点，随着探头的减少，信息缺失更加严重，因此TR重构出来失真逐渐严重，而网络则通过信息的adding有效减少失真的发生，这也是为什么在探头仅用了15个的circle dataset上具有更好的重构效果，但对于复杂图像的重构效果 还需进一步探究。
CNN的潜在问题之一是其性能较为依赖于使用的数据，训练和测试的数据越接近越好，本文也在不同的数据集上进行训练然后迁移到其他数据集上进行predict。最后一个小鼠CT的实验也看到了由于TR后对于细节的缺失使得网络对毛细血管的重构效果并不好。这也显示出用TR后的数据作为输入存在的局限性，因为本身输入就存在细节缺失。这时就需要增加更多的细节信息作为输入，从而恢复出图像的细节部分。

Section V Conclusion

本文将密集连接引入UNet结构提出了FD-UNet结构用于从稀疏采样数据进行二维PAT图像的重建。并将FD-UNet与UNet在相关数据及上的重构效果进行了对比，实验结果显示FD-UNet在参数量较少的前提下图像重建效果更佳；另一方面本文还阐明了通过合成数据用于图像重建的简易可行性。