Deep Retinex Decomposition for Low-LightEnhancement （2018 BMCV，含代码）_deep retinex decomposition for low-light enhanceme

摘要

Retinex模型是弱光图像增强的有效工具。它假设观察到的图像可以分解为反射率和照明度。大多数现有的基于retinex的方法都为这种高度病态的分解精心设计了手工制作的约束和参数，当应用于各种场景时，这可能会受到模型容量的限制。在本文中，我们收集了一个包含低/正光图像对的低光数据集(LOL)，并提出了一个在该数据集上学习的深度Retinex网，包括一个用于分解的Decom-Net网和一个用于照明调整的Enhance-Net 。在深度网的训练过程中，没有分解的反射率和照明的地面真相ground truth。该网络的学习只有关键的约束条件，包括成对的低/正光图像所共享的一致反射率和照明的平滑性。在分解的基础上，通过一个称为增强网的增强网络Enhance-Net对照明进行亮度增强，对于联合去噪，对反射率进行去噪操作。Retinex-网络是端到端可训练的，因此学习到的分解本质上有利于亮度调整。大量的实验表明，我们的方法不仅实现了弱光增强的视觉愉悦的质量，而且提供了一个良好的图像分解表示。

• 我们建立了一个大规模的数据集与成对的低/正常光图像捕获在真实的场景。据我们所知，这是在弱光增强场中的第一次尝试。
• 我们构造了一个基于Retinex模型的深度学习图像分解方法。分解网络是通过连续的低光增强网络进行端到端训练，因此该框架本质上适合光条件调整。
• 我们提出了一种结构感知的全变分约束的深度图像分解。通过减轻在梯度强的地方的全变分的影响，约束成功地平滑了照明图并保留了主要结构。

         基于Retinex理论，我们设计了一个深度Retinex网来共同进行反射/照明分解和弱光增强。该网络由分解、调整和重构三个步骤组成。在分解步骤中，Retinex-Net通过Decom-Net将输入图像分解为R和I。它在训练阶段接收成对的低光/正光图像，而只有低光图像作为输入为测试阶段。由于低/正光图像具有相同的反射光度和照明平滑性的约束，Decom-Net学习以数据驱动的方式提取不同照明图像之间的一致R。在调整步骤中，一个增强网Enhance-Net 被用来照亮照明地图。增强网采用解码器的整体框架。采用多尺度连接法保持大区域光照与上下文信息的全局一致性，同时集中注意力调整局部分布。此外，放大的噪声，经常发生在弱光条件下，如果需要，可以从反射率中去除。然后，我们在重建阶段通过元素级乘法将调整后的照明度和反射率相结合。

 其中，λir和λis表示平衡反射率一致性和照明平滑度的系数。基于Rlow和Rhigh都可以用相应的照明图重建图像的假设，将重建损失Lrecon表述为：

 引入不变反射率损耗Lir来约束反射率的一致性：

 2.2 Structure-Aware Smoothness Loss  2.2具有结构意识的平滑度损失

照明映射的一个基本假设是局部一致性和结构感知，如[9]所述。换句话说，一个好的照明地图解决方案应该在纹理细节上平滑，同时仍然可以保持整体结构边界。

        全变化最小化(TV)[2]，使整个图像的梯度最小化，通常作为各种图像恢复任务的平滑先验。然而，直接使用TV作为损失函数在图像具有强结构或亮度急剧变化的区域失效。这是由于照明地图梯度的均匀减小，无论区域是文本细节还是强边界。换句话说，TV的损失是结构盲性。照明模糊，在反射率上留下强黑色边缘，如图2所示。

 为了了解图像结构的损失，将原始TV功能用反射率梯度图进行加权。最后的Lis被表述为：

 其中，∇为梯度，包括∇h（水平）和∇v（垂直），λg为平衡结构意识强度的系数。使用权重exp(λg∇Ri)，Lis放松了平滑的约束，其中反射率梯度很陡，换句话说，图像结构的位置，照明应该是不连续的。

        虽然LIME[9]也考虑了在加权TV约束下保持照明图中的图像结构，但我们认为这两种方法是不同的。对于LIME，总变化约束由一个初始照明图进行加权，这是R、G和B通道中每个像素的最大强度。我们的结构感知平滑度损失是由反射率加权的。在LIME中使用的静态初始估计可能不能像反射率那样描述图像的结构，因为反射率被假定为图像的物理特性。由于我们的Decom-Net是用大规模的数据离线训练的，所以照明和权重（反射率）可以在训练阶段同时更新。

 图1：Retinex-Net的建议框架。增强过程分为分解、调整和重构三个步骤。在分解步骤中，子网络网络将输入图像分解为反射率和照明度。在下面的调整步骤中，基于编码解码器的增强网络照亮照明。引入多尺度连接法，从多尺度的角度调整照明。反射率上的噪声也在这一步中被消除。最后，我们对调整后的光照度和反射率进行了重构，得到了增强的结果。

在分解步骤中，对网络施加了几个约束条件，其中之一是照明映射的结构感知平滑性。当估计的照明图是平滑的时，所有的细节都保留在反射率上，包括增强的噪声。因此，我们可以在用光照图重建输出图像之前，对反射率进行去噪的方法。考虑到黑暗区域中的噪声会根据分解过程中的亮度强度进行放大，我们应采用与照明相关的去噪方法。我们的实现在第二节中被描述了。

3 Dataset

虽然低光增强问题已经被研究了几十年，但据我们所知，目前公开可用的数据集没有提供在真实场景中捕获的成对的低光/正常光图像。一些低光增强工作使用高动态范围(HDR)的数据集作为替代方案，如MEF数据集[18]。然而，这些数据集的规模较小，并且包含有限的场景。因此，它们不能被用于训练一个深度网络。为了使其易于从大型数据集中学习弱光增强网络，我们构建了一个新的网络，包括两类：真实摄影对和原始图像的合成对。第一个方法捕获了真实情况下的退化特性和属性。第二种方法在数据增强、多样化场景和对象方面发挥着重要作用。

3.1 Dataset Captured in Real Scenes  在真实场景中捕获的数据集

我们的数据集，命名为LOw光配对数据集(LOL)，包含500个低/正常光图像对。据我们所知，LOL是第一个包含从真实场景中获取的用于弱光增强的图像对的数据集。大多数低光图像是通过改变曝光时间和ISO来收集的，而相机的其他配置则是固定的。我们从各种场景中捕捉图像，例如，房屋、校园、俱乐部、街道。图3显示了这些场景的一个子集。由于相机抖动、物体移动和亮度变化可能会导致图像对之间的错位，受[1]的启发，我们采用了三步方法来消除数据集中图像对之间的这种错位。实现细节可以在补充文件中找到。这些原始图像的大小被调整到400×600，并被转换为便携式网络图形格式。数据集将公开。

3.2 Synthetic Image Pairs from Raw Images  来自原始图像的合成图像对

为了使合成图像与真实暗摄影的性质相匹配，我们分析了弱光图像的光照分布。我们从公共MEF[18]、NPE[23]、LIME[9]、DICM[13]、VV1和Fusion[3]数据集中收集了270张弱光图像，将图像转换为YCbCr通道，并计算Y通道的直方图。我们还从提高的[4]中收集了1000张原始图像作为正光图像，并计算了YCbCr中Y通道的直方图。计算结果如图4所示。

图4：基于YCbCr中Y通道直方图的拟合结果。为清晰起见，中以曲线图和纵轴的形式表示的直方图按对数域进行缩放。横轴表示像素值，注意Y通道的范围为16到240。

 

 图5：在LOL数据集中使用书架上的Decom-Net和LIME的分解结果。在我们的结果中，弱光图像的反射率与正常光图像的反射率相似，除了在真实场景中出现的黑暗区域的放大噪声。

        Raw images 原始图像比转换后的结果包含更多的信息。当对原始图像进行操作时，对用于生成像素值的所有计算都在基础数据上一步执行，使结果更加准确。在提高[4]中使用1000幅原始图像来合成弱光图像。采用Adobe光室提供的界面，尝试不同类型的参数使Y通道的直方图符合弱光图像的结果。最终的参数配置可以在补充材料中找到。如图4所示，合成图像的光照分布与低光图像的光照分布相匹配。最后，我们将这些原始图像调整为400×600，并将它们转换为便携式网络图形格式。

4 Experiments

4.1 Implementation Details

        我们的LOL数据集在 Sec. 3 对500对图像被分为485对用于训练，另外15对用于评估。因此，网络工作是在485对真实情况的图像对和1000对合成的图像对上进行训练的。整个网络都是轻量级的，因为我们根据经验发现它已经足够达到我们的目的了。Decom-Net采用5个卷积层，在2个转换层之间激活ReLU。 增强网由3个降采样块和3个上采样块组成。我们首先训练深度网络和增强网络，然后使用随机梯度下降法对网络进行带反向传播的端到端微调。批处理大小设置为16，补丁程序大小设置为96×96。λir、λis和λg分别设置为0.001、0.1和10。当i=j，λi j设置为0.001，当i=j，λi j设置为1。

4.2 Decomposition Results 4.2分解结果

        在图5中，我们说明了在我们的LOL数据集的评估集中的一个低/正光图像对，以及由Decom-Net和LIME分解的反射率和照明图。在补充文件中提供了更多的示例。结果表明，我们的Decom-Net可以从文本区域和平滑区域的一对图像中提取潜在一致的反射率。弱光图像的反射率与正常光图像的反射率相似，除了在真实场景中出现的黑暗区域的放大噪声。另一方面，照明地图描绘了图像上的亮度和阴影。与我们的结果相比，LIME在反射率上留下了很多照明信息（参见图框上的阴影）。

 图5：在LOL数据集中使用书架上的Decom-Net和LIME的分解结果。在我们的结果中，弱光图像的反射率与正常光图像的反射率相似，除了在真实场景中出现的黑暗区域的放大噪声。

4.3 Evaluation

我们在来自公共LIME[9]、MEF[18]和DICM[13]数据集的真实场景图像上评估了我们的方法。LIME包含10个测试图像。MEF包含17个图像序列有多个暴露水平。DICM用商业数码相机收集了69张图像。我们将我们的视网膜网络与四种最先进的方法进行了比较，包括基于脱雾的方法(DeHz)[5]、自然保持增强算法(NPE)[23]、同时反射和照明估计算法(SRIE)[8]，以及基于照明地图估计(LIME)[9]。

        图6显示了三幅自然图像的视觉比较。更多的结果可以在补充文件中找到。如每个红色矩形所示，我们的方法在不过度曝光的情况下，照亮暗暗的物体，这得益于基于学习的图像分解方法和多尺度定制照明地图。与LIME相比，我们的结果并没有部分过度暴露（见静物中的叶子和房间中的外部叶子）。与DeHz相比，这些物体没有黑色的边缘，而DeHz受益于加权电视损失项（见街上房屋的边缘）

 4.4 Joint Low-Light Enhancement and Denoising

考虑到综合性能，采用BM3D[3]作为retinex-net的去噪操作。由于噪声在反射率上被不均匀地放大，我们使用了一种照明相对策略（见补充材料）。我们比较了我们的联合去噪Retinex-Net与两种方法，一种是极限与去噪后处理，另一种是JED[22]，一种最近的联合弱光增强和去噪方法。如图7所示，Retinex-Net更好地保留了细节，而LIME和JED则模糊了边缘。

5 Conclusion

本文提出了一种深度Retinex分解方法，该方法可以学习将数据驱动的观测图像分解为反射率和照明，而不需要分解的反射率和照明的地面真相。介绍了随后的光照增强和对反射率的去噪操作。对分解网络和弱光增强网络进行端到端训练。实验结果表明，该方法具有视觉上良好的增强效果，并很好地表示了图像分解。

原论文及代码下载：DeepRetinexDecompositionforLow-LightEnhancement论文及源码-深度学习文档类资源-CSDN下载