多层次边缘特征引导的图像去噪网络

目录

一、引言

二、相关工作

三、多层次边缘特征引导网络

四、实验结果

---

一、引言

        回顾以往图像去噪的方法，作者发现大量的工作指出充分利用图像先验可以有效地提高重建图像的质量。事实上，一些图像先验已经被提出用于图像恢复，如TV先验、稀疏先验和边缘先验。其中，边缘先验是最有效、最易获得的先验之一。作为图像的高频特征的关键组成部分，它一直被广泛应用于图像重建任务中。同时，也有研究在CNN模型中引入边缘来指导图像重建或增强重建图像，例如DEGRRN和DCEF。这两种模型都是先对退化图像应用现成的边缘检测器(如Sobel或Canny)，获得相应的边缘映射，然后将其与输入图像一起发送到网络，重建最终图像。但是现有的边缘提取器很难从噪声图像中提取出清晰的边缘，因此不适合用于图像去噪。

        因此，如何从噪声图像中获取准确的边缘，并充分利用这些边缘重建出高质量的无噪声图像是本文工作的重点。为此，作者提出了一种高效的多级边缘特征引导网络(MLEFGN)图像去噪方法。

二、相关工作

图像边缘检测

        目前已经设计了许多边缘检测器，如Canny [34]， Prewitt [35]， Sobel和Roberts算子。然而，这些边缘检测器是为清晰的图像设计的，很难从噪声图像中获得清晰准确的图像边缘。为了解决这个问题，作者打算利用CNN强大的建模能力来提取图像的边缘。如图3所示，本文的目的是建立一个Edge-Net，从噪声图像中直接预测出清晰准确的图像边缘。

三、多层次边缘特征引导网络

        图像去噪的退化模型可以表述为y = x + v，其中y是由清晰图像x得到的噪声图像，v是加性高斯白噪声(AWGN)。图像去噪的目标是将有噪声的图像y重构为清晰的图像x。也就是说，给定训练数据，解决下面这个问题：

作者针对此问题提出了一个MLEFGN图像去噪网络，如图4所示：

MLEFGN可分为三个阶段：

        首先定义和分别是模型MLEFGN的输入和输出。因此，第一阶段的边缘重建可以表示为

其中E是Edge-Net，等式左边是预测的图像边缘。

        然后，构建了一个双路径网络用于第二阶段的特征提取。在每条路径上，使用简化版的密集块(DB)[40]和两个残差组(RGs)来提取相应的特征：

其中等式左边分别表示提取的图像的低频和高频(图像边缘)特征，等式右边的F表示相关的路径网络。这两个分支是相互独立的。

        为了充分利用图像的边缘，在第三阶段引入边缘引导模块来重建最终的去噪图像：

其中等式左边表示重构的去噪图像。

现在，给定训练集,需要解决下列问题：

其中F表示MLEFGN网络，E表示Edge-Net。

        需要注意的是，Edge-Net作为MLEFGN的子网络，以端到端方式与整个模型一起训练。

下面详细介绍每个阶段：

A、第一阶段：边缘重建

        如图4所示，紫色块代表Edge-Net, Edge-Net由两个卷积层、两个残差块(RB)和一个密集块(DB)组成。其中，卷积层用于改变图像的空间维度，RB和DB用于提取图像特征。图5(a)和(c)分别显示了RB[41]和DB[40]：

这里残差块没什么好说的，对于DB，块中的每一层以前馈的方式连接到其他每一层。因此，第p层接收到前面所有层的特征映射作为输入：

其中括号里是直接拼接起来的。还有一个问题是这种密集连接机制会带来大量的参数。为了解决这一问题，在块的尾部引入了1x1卷积层，以减少模型参数。

        在这个阶段，作者发现直接学习噪声图像与其对应的清晰边缘之间的映射是很难的，因此，他将这个问题转化为特征去除问题——建立一个网络来学习如何同时去除低频特征和图像噪声，使剩下的特征都是所需的图像边缘。在Edge-Net中定义所有卷积层为R(·)，Edge-Net的算子可以重写为

这里的损失定义为：

这里的可以通过现存的边缘检测器从干净图像中提取。

B、第二阶段：特征提取

        为了充分提取和利用图像和边缘特征，作者构建了一个双路径网络，分别提取图像和边缘特征。在这个阶段，网络的每一条路径都包含一个DB和两个RG。其中，DB用于提取特征，RG用于进一步细化提取的特征。

C、第三阶段：边缘引导图像去噪

        作者提出了一种多级指导机制。如图4所示，将Stage-II中各模块的输出视为一个level；因此，将所有提取的特征分为三层，将第i层图像与边缘特征融合定义为

其中等式右边两项分别表示第i层(i = 1,2,3)提取的图像和边缘特征映射，之后可以得到三个输出对应等式左边。

作者发现直接连接这些特征不能达到最好的结果，使模型难以收敛。为了解决这一问题，作者设计了一种简单的倒金字塔模块(IPM)来进行特征融合和图像重建。如图4所示，该模块位于MLEFGN的尾部，由三个RG组成。所有这些特征()将被发送到模块，RG将用于连接和融合相邻级别的特性

 其中中括号是拼接操作，表示第i个RG，表示相应的输出。损失如下：

其中，表示重建的去噪图片。因此，MLEFGN的总损失可以改写为

四、实验结果

代码：GitHub - MIVRC/MLEFGN-PyTorch: This repository is a PyTorch version of "Soft-edge Assisted Network for Single Image Super-Resolution". (IEEE TNNLS 2020)