论文笔记|低照度图像增强-R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

原文链接：R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network.

论文介绍

1）基于Retinex的Real-low to Real-normal Network
2）三个子网：Decom-Net、Denoise-Net、Relight-Net分别用于分解、去噪、对比度增强和细节保存
3）收集了第一个大规模真实世界配对低/正常光图像数据集（LSRW 数据集）

网络架构

Decom-Net在Retinex理论的指导下将输入的低光图像分解为光照图和反射率图。
Denoise-Net以分解结果为输入，利用光照图作为约束来抑制反射率中的噪声，得到视觉质量较好的分解结果。Decom-Net得到的光照图和Denoise-Net得到的反射率图被发送到Relight-Net，以提高图像的对比度和亮度。在Decom-Net和Denoise-Net中，我们只使用了低光图像的空间信息，因为 DecomNet 的目的是将输入图像分解为光照图和反射率图，无需任何进一步处理。根据Retinex理论，反射率图包含图像的固有属性，因此如果使用频率信息来抑制Denoise-Net中的噪声，同时也会抑制反射率图的细节。因此，我们没有使用 Decom-Net 和 Denoise-Net 中的频率信息，而是使用图像的空间信息来改进图像对比度，并基于快速傅里叶变换提取图像的频率信息，以更好地保留 Relight-Net 中的图像细节。

1）Decom-Net

基于Retinex的方法的关键是获得高质量的光照图和反射率图，分解结果的质量也会影响后续的增强和去噪过程。因此，设计一个高效的网络来分解弱光照图像是很重要的。残差网络已广泛应用于许多计算机视觉任务中，取得了良好的效果。残差网络得益于跳跃连接结构，在训练阶段可以使深度神经网络更容易优化，不会造成梯度消失或爆炸。受此启发，我们在 DecomNet 中使用多个残差模块 (RM) 以获得更好的分解结果。每个 RM 包含 5 个卷积层组成，内核大小为 {1, 3, 3, 3, 1}，内核数为 {64, 128, 256, 128, 64}。我们在快捷连接处添加了一个 64×1×1 的卷积层。每个 RM 之前和之后还有一个 64×3×3 的卷积层。

Decom-Net 每次都采用成对的低/正常光图像（Slow 和 Snormal），并在低光图像和正常光图像共享相同的反射图的指导下学习低光及其对应的正常光图像的分解。在训练期间，不需要提供反射图和光照图的ground truth。只有必要的知识，包括反射图的一致性和光照图的平滑度作为损失函数嵌入到网络中。请注意，正常光图像的光照图和反射图不参与后续训练，仅提供分解的参考。

2）Denoise-Net

在得到分解结果后，大多数传统方法和以往基于Retinex理论的基于学习的方法都没有考虑噪声，这将导致最终增强结果受到反射率图中噪声的影响。最近，研究人员设计了有效的模型，可以在增强微光图像对比度的同时抑制噪声。受此启发，我们还设计了一个去噪网络来抑制反射率图中的噪声。与大多数基于学习的方法类似，我们的 Denoise-Net 仅使用图像的空间信息，因为通过抑制反射率图中的高频信号来消除噪声可能会导致固有细节的损失。

U-Net由于其出色的结构设计，在大量计算机视觉任务中取得了优异的成绩。在微光图像增强领域，大量网络采用U-Net作为主要架构或其一部分。Chen等人直接使用U-Net对图像进行增强，不需要对网络进行任何修改，取得了较好的效果。受残差网络的启发，Res-UNet为 U-Net 的每个子模块替换了具有残差连接的模块。然而，U-Net 和 Res-UNet 在特征提取阶段使用多个最大池化层，最大池化层会导致特征信息的损失，这就是我们不想的事情。受[44]的启发，我们将最大池化层替换为stride卷积层，这将略微增加网络参数，但提高性能。U-Net 和 Res-UNet 都属于“浅宽”架构，Li 等人表明“深窄”架构更有效，因此我们将 UNet 的每个子模块替换为 RM 来构建“深窄”Res-UNet，在本文中命名为 DN-ResUnet。Denoise-Net 中使用的 RM 与 Decom-Net 中使用的 RM 略有不同，除了最后一个 1×1 卷积层外，卷积的数量保持在 128。此外，我们在网络的前两个层中使用扩张卷积来提取更多的特征信息。如图所示，我们的 Denoise-Net 获得的光照图保留了原始图像细节，同时抑制了噪声。

3）Relight-Net

在得到分解结果后，需要改进光照图的对比度以获得较高的视觉质量结果，这是Relight-Net设计的目的。受结合空间信息和频率信息在其他图像恢复任务中恢复高质量清晰图像的有效性的启发，我们的RelightNet由两个模块组成:对比度增强模块(CEM)和细节重建模块(DRM)。CEM 使用空间信息进行对比度增强，其架构类似于 Denoise-Net，我们还利用多尺度融合，将扩展路径中每个反卷积层的输出连接起来，以减少特征信息的损失。DRM 基于傅里叶变换提取频率信息以恢复更多细节。傅里叶变换的目的是在频域获得信号的分布。数字图像也是一种信号，傅里叶变换可以将图像转换为频域，傅里叶逆变换可以将图像从频域转换到空间域。因此，我们可以通过傅里叶变换得到图像的光谱信息。高频信号代表图像中强烈的变化内容，即细节或噪声，低频信号代表不频繁变化的平滑变化内容，即背景。我们可以通过增强图像中的高频信号来恢复更多的细节，从而从退化图像中恢复清晰的图像。

原始的傅里叶变换非常耗时，因此我们在本文中使用快速傅里叶变换。在傅里叶变换之后，我们将得到一个与原始图像大小相同的矩阵。矩阵中的点描述了图像的频域信息。每个点都是一个复数 A + jB，其模量 √A2 + B2 描述了幅度，其方向 arctan B/A 描述了相位角。如果我们想利用图像的频域信息来实现细节重建，我们需要处理得到的复杂矩阵。Chiheb等提出了关键原子分量、复卷积、复批归一化和复值激活，形成复值深度神经网络，并在许多计算机视觉任务和音频相关任务上实现了最先进的性能。复卷积通过复值向量 h = x + jy 对复滤波器矩阵 W = A + jB 进行卷积，其中 A 和 B 是实值矩阵，x 和 y 是实值向量。在将向量 h 与滤波器 W 进行卷积后，我们可以得到 W *h = (A∗x−B∗y)+i(B∗x+A∗y)。复Relu (CRelu)在神经元的实部和虚部上使用单独的ReLUs，即CReLU (W) = ReLU (A)+iReLU (B)。因此，我们选择了复杂的卷积和 CRelu 来形成我们的 DRM，以便我们可以增加频域的幅度和相位信息。

我们的DRM由两个空间-频率-空间转换块(SFSC块)和一个频率信息处理块(FIP块)组成。SFSC块旨在抑制频域和空间域信息流。SFSC 块首先使用第一个 Resblock 处理空间域中的特征，并使用快速傅里叶变换将输出特征转换为频域。随后，利用复Resblock处理频域信息，最后利用傅里叶反变换将频域信息转化为空间域，使空间域和频域信息交换最大化。FIP块用于模拟高通滤波器来增强图像边缘轮廓，实现细节重建。FIP块的输入包含特征级和图像级频率信号，以减少空间域和频域信息之间的转换造成的信息丢失。特征级信号表示 SFSC 块的输出，图像级信号可以通过基于快速傅里叶变换将输入图像直接映射到频域来获得。CEM 和 DRM 的输出将组合为增强的光照图。请注意，DRM 和 CEM 的输出通道数为 64，因此我们添加了一个 3×3 卷积层和 1×1 卷积层进行降维。

Relight-Net的输入是Decom-Net得到的光照图(Ilow)和Denoise-Net得到的反射率图(ˆRlow)，输出为增强光照图(ˆIlow)。最后，将去噪后的反射率图和增强后的光照图按元素相乘组合为最终结果，可以描述为:ˆSlow =ˆIlow◦ˆRlow。我们的方法得到的分解结果如图所示。DenoiseNet得到的反射率图在抑制噪声的同时保留了原始图像的细节，Relight-Net正确地改善了光照图的对比度，保留了更多的细节。

LSRW数据集

现有的真实世界低光图像数据集只有LOL数据集和SID数据集，但这两个数据集中包含的图像数量不能满足深度神经网络的训练要求。因此，我们收集了第一个名为LSRW的大规模真实世界配对低光/正常光图像数据集，用于我们的网络训练。

损失函数

损失函数在训练阶段，三个子网分别进行训练，因此整个损失函数由三部分组成:分解损失LDc、去噪损失LDn和Relight损失LRe。它们中的每一个都由两部分组成：内容损失和感知损失。