Deep Retinex Decomposition for Low-Light Enhancement（论文阅读笔记）_结构感知平滑损失

Deep Retinex Decomposition for Low-Light Enhancement（论文阅读笔记）

最近学习了一篇论文《Deep Retinex Decomposition for Low-Light Enhancement》，记录一下

概括

本文提出用自己制作的弱光/正常光图像对的弱光数据集，利用Retinex理论中的不同光照下的图片反射率是相同的这一特点让其共享反射率，并通过一个分解网络和一个增强网络对图片进行处理得到不错的结果。下面是详细介绍：

过去的研究

在过去的几十年里，许多研究者致力于解决微光图像增强的问题。许多技术已经发展，以提高主观和客观质量的微光图像。直方图均衡化(HE)及其变异体约束输出图像的直方图满足一定的约束条件。基于去雾的方法[5]利用了光照不足的图像和模糊环境下的图像之间的逆连接。
另一类微光增强方法是建立在reinex理论[12]基础上，假设观察到的彩色图像可以分解为反射率和光照。像早期的尝试一样，单尺度的Retinex (SSR)[11]通过高斯滤波约束光照贴图平滑。多尺度的Retinex (MSRCR)[10]扩展了SSR的多尺度高斯滤波器和颜色恢复。[23]提出了一种利用光阶误差测量保持照度自然度的方法。Fu等人[7]提出融合初始光照图的多个派生。SRIE[7]使用加权变分模型同时估计反射率和照度。操纵照明后，可以恢复目标结果。
另一方面，LIME[9]只在结构先验下估计光照，并使用反射作为最终的增强结果。也有基于retinx的联合微光增强和噪声去除方法[14,15]。
随着深度神经网络的快速发展，CNN在低级别图像处理中得到了广泛的应用，包括超分辨率[6,24,26,27]，去雨[16,21,25]等。Lore等人的[17]使用堆叠稀疏去噪自动编码器来同时进行微光增强和降噪(LLNet)。

研究中的不足

虽然这些方法在某些情况下可能产生有希望的结果，但它们仍然受到反射和光照分解模型容量的限制。很难设计出适用于各种场景的有效的图像分解约束条件。此外，照明贴图的操作也是手工制作的，这些方法的性能通常依赖于仔细的参数调整；基于CNN的研究并没有考虑微光图像的性质。

本文的主要贡献

（1）在真实场景中捕获的成对的低/正常光图像来构建一个大型数据集；
（2）构建了基于Retinex模型的深度学习图像分解。通过连续的弱光增强网络对去合成网络进行端到端的训练，使得该框架具有良好的光状态调节能力；
（3）提出了一种结构感知的全变差约束用于深度图像分解。在梯度很强的地方，通过缓和总变化的影响，约束成功地平滑了照明贴图并保留了主要结构。

本文的数据集

目前公开的数据集没有提供在真实场景中捕获的低/正常光成对的图像。一些微光增强工作使用高动态范围(HDR)数据集作为替代，如MEF数据集[18]。然而，这些数据集是在小尺度和包含有限的场景。因此，它们不能用来训练深度网络。为了便于从大规模数据集学习弱光增强网络，为此构建了一个新的网络，它包括两类:真实的摄影对和从原始图像合成对。第一个捕获了真实情况下的退化特性和属性。第二种是数据增强，场景和对象多样化。

真实场景中捕获的数据集

该数据集，命名为低光配对数据集(LOL)，包含500对低/正常光图像。LOL是第一个包含从真实场景中获取的用于弱光增强的图像对的数据集。大多数弱光图像是通过改变曝光时间和ISO来收集的，而相机的其他配置是固定的。从各种各样的场景中捕捉图像，例如，房子，校园，俱乐部，街道。图1显示了场景的一个子集。由于相机抖动、物体移动和亮度变化可能会导致图像对之间的不对准，受[1]启发，本文使用三步法来消除本文数据集中图像对之间的不对准。实现细节可以在补充文件中找到。这些原始图像被调整到400×600和转换为便携式网络图形格式。

从原始图像合成图像对

为了使合成图像更符合真实的暗摄影特性，分析了微光图像的照度分布。收集公共MEF[18]、NPE[23]、LIME[9]、DICM[13]、VV1、Fusion[3]数据集270张弱光图像，将图像转换为YCbCr通道，计算Y通道的直方图。从RAISE[4]中采集1000张raw图像作为normal-light图像，计算YCbCr中Y通道的直方图。结果如图2所示。原始图像比转换后的结果包含更多的信息。在对原始图像进行操作时，所有用于生成像素值的计算都在基础数据上一次性执行，从而使结果更加准确。利用RAISE[4]中的1000张原始图像合成低光图像。使用Adobe Lightroom提供的界面，本文尝试不同的参数使Y通道的直方图与弱光图像的结果吻合。最后的参数配置可以在补充材料中找到。如图2所示，合成图像的光照分布与弱光图像匹配。最后，本文将这些原始图像调整为400×600，并将其转换为可移植的网络图形格式。

具体方法

数据驱动的图像分解

在训练阶段，Decom-Net每次都对低/正态光图像进行配对，在低光图像和正态光图像具有相同反射率的指导下，学习对低光和对应的正态光图像的分解。虽然分解是用配对数据训练的，但它可以在测试阶段单独分解低光输入。在培训过程中，不需要提供反射率和光照的真实值。只有反射一致性和光照映射光滑性等必要知识作为损失函数嵌入到网络中。因此，网络分解是从成对的低/正常光图像中自动学习到的，本质上适合描述不同光照条件下图像之间的光变化。
需要注意的一点是，尽管这个问题在形式上可能类似于固有图像分解，但它们在本质上是不同的。在此任务中，不需要精确地获取实际的本征图像，而是需要一个良好的表征来进行光调节。因此，让网络学会在弱光图像和相应增强结果之间寻找一致分量。
如图1所示，Decom-Net将低光图像慢和正态光Snormal输入，然后分别估计反射率rlow和照度Ilow，以及正态光rnormal和正态光Inormal。首先使用3×3卷积层从输入图像中提取特征。然后，采用几个以直线矫正单元(ReLU)为激活函数的3×3卷积层，将RGB图像映射为反射率和光照。一个3×3卷积层从特征空间投影R和I，使用s型函数将R和I约束在[0,1]的范围内。

结构感知平滑度损失

光照映射的一个基本假设是局部一致性和结构感知，如[9]所述。换句话说，一个好的照明贴图的解决方案应该是在纹理细节平滑的同时仍然可以保持整体的结构边界。全变差最小化(TV)[2]是将整个图像的梯度最小化的算法，经常被用作各种图像恢复任务的平滑先验。然而，直接使用TV作为损失功能失败的区域，图像有强烈的结构或亮度变化剧烈。这是由于统一的减少梯度的照明图，无论该区域是文本细节或强边界。换句话说，TV损失是结构盲性的。光照被模糊，反射率上留下了强黑边，如图2所示。为了使损耗能反映图像的结构，对原始的TV函数采用反射贴图梯度加权。

虽然LIME[9]也考虑了在有加权电视约束的照明映射中保持图像结构，但本文认为这两种方法是不同的。对于LIME，使用初始光照图对总变异约束进行加权，初始光照图是R、G和B通道中每个像素的最大亮度。本文的结构感知平滑损失是由反射率加权的。在LIME中使用的静态初始估计可能不能像反射率那样描述图像结构，因为反射率被假定为图像的物理属性。由于本文的解网是离线训练的大规模数据，可以同时更新光照和权重(反射率)在训练阶段。

多尺度照明调整

照明增强网络采用编码器-解码器架构的整体框架。为了从分层的角度调整照明，本文引入了多尺度连接，如图1所示。编码器-解码器体系结构在大区域中获得上下文信息。输入图像被连续下采样到小尺度，在该小尺度下，网络可以具有大尺度照明分布的视角。这给网络带来了自适应调整的能力。利用大规模光照信息，上采样块重建局部光照分布。通过元素求和，从下采样块到其对应的镜像上采样块引入跳过连接，这强制网络学习残差。为了分层调整光照，即保持全局光照的一致性，同时调整不同的局部光照分布，引入了多尺度拼接。如果有M个逐级向上采样的块，每个块提取一个C通道特征图，本文通过最近邻插值在不同的尺度上调整这些特征的大小到最终的尺度，并将它们连接到一个C×M通道特征图。然后，通过1×1卷积层，级联特征被简化为C信道。接着是3×3卷积层来重建光照图。下采样块由步长为2的卷积层和ReLU组成。在上采样块中，使用了调整大小的卷积层。如[19]所示，它可以避免图像出现棋盘图案。调整卷积层由最近邻插值操作、步长为1的卷积层和ReLU激活函数组成。

基于反射率的去噪

在分解步骤中，对网络施加若干约束，其中之一是光照图的结构感知平滑性。当估计的光照图平滑时，细节都保留在反射率上，包括增强的噪声。因此，在用光照图重建输出图像之前，可以对反射率进行去噪处理。鉴于暗区域的噪声是根据分解过程中的亮度强度放大的，我们应该使用与光照相关的去噪方法。

总结

1. 本文设计了端到端的训练框架，能很好的提升图片处理，并贡献了LOL数据集；
2. 将encoder-decoder引入Retinex模型中，为低光照图片的处理方法提供了一种全新的思路，能获得大区域的上下文信息，将图像逐次降采样到小尺度，使网络能够了解大尺度光照分布情况，带给了网路自适应调节的能力；
3. 本文使用的LOL数据集是在真实图片上经过调整曝光时间和ISO进行的，并不能真实的反映夜晚图像的情况，在处理真实的夜晚图片，特别是包含噪声多的夜晚图像时，增强结果出现严重的色彩失真，噪声明显被放大。

文章中出现的引文、数据集及源码见：链接