图像增强 Zero-DCE 估计增强曲线

1. 介绍

在这篇论文中，我们呈现了一种新的深度学习方法，零参考深度曲线估计，来进行微光图像增强。它可以在各种各样的灯光条件包括不均匀和弱光情况进行处理。不同于执行图像到图像的映射，我们把任务重新设定为一个特定图像曲线估计问题。特别地，提出的这种方法把一个人微光图像作为输入，并把产生的高阶曲线作为它的输出。然后这些曲线被用作对输入的变化范围的像素级调整，从而获得一个增强的图像。曲线估计是精心制定的以便于它保持图像增强的范围并保留相邻像素的对比度。 重要的是，它是可微的，因此，我们可以通过一个深度卷积神经网络来了解曲线的可调参数。所提出的网络是轻量级的，它可以迭代地应用于近似高阶曲线，以获得更稳健和更精确的动态范围调整。

本文优点：

• 提出了第一个弱光增强网络，它独立于成对和不成对的训练数据，从而避免了过度拟合的风险。结果表明，该方法能很好地推广到各种照明条件下。
• 设计了一个特定于图像的曲线，它能够通过迭代应用自身来近似像素级和高阶曲线。这种特定于图像的曲线可以在较宽的动态范围内有效地进行映射。
• 展示了在没有参考图像的情况下，通过任务特定的非参考损失函数（间接评估增强质量）训练深度图像增强模型的潜力。

传统方法与Zero-DCE：

• 直方图增强（扩展图像动态范围来实现光增强）：全面、局部
• 基于retinex理论（图像分解为反射图像和亮度图像，通常反射分量一致，则化为照明估计问题）
  wang等：不均匀照明图像保持自然和信息
  Fu等：加权变化模型，同时估计输入图像的反射率和亮度。
  Guo等：搜索像素最大强度→估计粗糙照明图→通过先验结构细化。
  Li等：新Retinex模型，考虑噪声。通过解决优化问题估算照明图。

与偶然改变图像直方图分布or依赖于可能不准确的物理模型的常规方法相反，ZeroDCE通过特定于图像的曲线映射产生了增强的结果，可以增强图像的光强度而不会产生不真实的伪像。

• 自适应对比度增强（ACE）
  Yuan和Sun ：自动曝光校正，其中通过全局优化算法估计给定图像的S形曲线，并通过曲线映射将每个分割的区域推到最佳区域。

Zero-DCE是一种纯粹的数据驱动方法，在非参考损耗函数的设计中考虑了多个光增强因素，因此具有更好的鲁棒性，更宽的图像动态范围调整和更低的计算负担。

数据驱动方法与Zero-DCE：

• CNN：大多数依赖配对数据监督训练。配对数据（通过自动光衰减、更改相机设置、图像修改）详尽收集。
  LLNet在随机Gamma校正模拟数据上进行了训练；通过在图像采集过程中改变曝光时间和ISO来收集低/正常光图像配对的LOL数据集。
  MIT-Adobe FiveK数据集包含5,000个原始图像，每个图像都有五张由受过培训的专家制作的润饰图像。
  Wang等通过估计照度图提出了曝光不足的照片增强网络。该网络接受了三位专家修饰过的配对数据的训练。

成本高：收集足够配对数据、在训练深度模型中包含虚假和不真实数据。CNN泛化能力差，会产生伪影和偏色。

• GAN：无监督训练，有消除配对数据进行训练的优势，但要仔细选择未配对的训练数据。
  EnlightenGAN：基于GAN的无监督先驱方法，使用不成对的弱光/正常光数据来增强弱光图像。通过精心设计的鉴别器和损失函数对网络进行了训练。

基于无监督GAN的解决方案通常需要仔细选择未配对的训练数据。

2. 光增强曲线

受照片编辑软件中曲线调整的启发，我们设计了一种能够自动将暗光图像映射到增强版本的曲线，其自适应曲线参数完全依赖于输入图像。设计这样一条曲线有三个关键：

• 增强图像的每个像素值应在归一化范围[0,1]内，以避免由于溢出截断而导致的信息丢失；
• 该曲线应该是单调的，以保留相邻像素的差异（对比度）；
• 该曲线的形式应尽可能简单，并且在梯度反向传播过程中应可区分。

为了实现这三个目标，我们设计了一条二次曲线，它可以表示为：

高阶曲线。公式(1)中定义的LE曲线可以迭代地应用，以使得能够进行更多用途的调整，以应对具有挑战性的弱光条件。确切地说，

其中n是控制曲率的迭代次数。在本文中，我们将n值设置为8，它可以很好地处理大多数情况。当方程(2)n等于1时，方程(2)可以退化为方程(1)。图2©提供了一个例子，显示了具有不同α和n的高次曲线。这种高次曲线提供了比图2(b)中的曲线更强大的调节能力(即更大的曲率)。

像素方向曲线。与单阶曲线相比，高阶曲线可以在更宽的动态范围内调整图像。尽管如此，这仍然是一个全局调整，因为α用于所有像素。全局映射往往过度/不足增强局部区域。为了解决这个问题，我们将α表示为一个像素化参数，即给定输入图像的每个像素都有一条与最佳拟合α相对应的曲线，以调整其动态范围。因此，公式(2)可以重新表示为：

其中A是与给定图像具有相同大小的参数映射。这里，假设局部区域中的像素具有相同的强度(也是相同的调整曲线)，因此输出结果中的相邻像素仍然保持单调关系。这样，像素级高阶曲线也符合上述三个目标。结果，增强图像的每个像素值仍然在[0，1]的范围内。

我们给出了图3中估计的曲线参数图的示例。结果表明，不同颜色通道的最佳拟合参数图具有相似的调整趋势，但大小不同，反映了微光图像三个通道之间的相关性和差异性。曲线参数贴图精确地指示不同区域的亮度(例如，墙上的两个闪光)。利用拟合后的映射图，可以通过逐像素的曲线映射直接获得增强版图像。如图3(e)所示，增强版显示了暗区中的内容，并保留了亮区。

3. 网络结构

对输入图像的每个信道分别做迭代操作，每次迭代操作的输出和输入图像map层再次结合作为下层输入。loss的计算实际就是计算最后增强的图像和原始输入图像之间的gap最大。

4. 损失函数

本文loss包含四种，分别为：

• 空间一致性loss:
  
• 曝光控制loss:
  
• 色彩恒定性loss:
  
• 光照平滑度loss:
  
• 总loss：
  

我们在下图中给出了由各种损失组合训练的零度误差的结果。

• 没有空间一致性损失的结果与完整结果相比，对比度相对较低（例如，云区域）。这说明了Lspa在保持输入图像和增强图像之间相邻区域的差异方面的重要性。
• 移除曝光控制损失Lexp无法恢复低光区域。
• 当颜色恒定性损失Lcol被丢弃时，会出现严重的颜色投射。应用曲线映射时，此变量忽略三个通道之间的关系。
• 去除光照平滑度损失Ltva会阻碍相邻区域之间的相关性，从而导致明显的伪影。

5. 实验

5.1 三通道调节的优势

为了展示三通道调整的优势，我们尝试仅在CIE Lab和YCbCr颜色空间中使用与RGB颜色空间中的调整相同的配置来调整与照明相关的通道，只是去除了仅适用于三通道调整的颜色稳定性损失。

具体地说，我们首先将输入的RGB颜色空间转换到CIE Lab(YCbCr)颜色空间，然后将L(Y)分量馈送到DCE-Net以估计一组曲线参数图，在训练阶段计算L(Y)通道中的每个损失。最后，我们使用公式3用估计的曲线参数来调整L(Y)分量。L(Y)分量调整后，相应的ab(CBCR)分量也相应调整(等比例调整)。在图8中，我们展示了一个示例来演示三通道调整的优势。正如观察到的那样，所有结果都显示出亮度和对比度的改善，这表明单通道调整(CIE Lab和YCbCr颜色空间)和三通道调整(RGB颜色空间)在改善给定微光图像的亮度方面都是有效的。然而，如图8©和(D)所示，在CIE Lab和YCbCr颜色空间中调整的结果具有明显的颜色偏差(例如，墙壁的颜色)和过饱和度(例如，灯笼的区域)。视觉对比表明，三通道调节能更好地保留固有颜色，降低过饱和风险。

5.2 训练数据的影响

为了测试训练数据的影响，我们在不同于Sec 5.1中描述的数据集上重新训练Zero-DCE。如图10©和(D)所示，在移除过度曝光的训练数据之后，Zero-DCE倾向于过度增强照明良好的区域(例如，Zero-DCELow和Zero-DCELargeL的结果中的杯子)，尽管使用了更多的低光图像(即，Zero-DCELargeL)。这些结果说明了在我们的网络训练过程中使用多曝光训练数据的合理性和必要性。此外，Zero-DCE可以更好地恢复暗区域(例如。如图10(E)所示，当使用更多的多次曝光训练数据(即，Zero-DCELargeLH)时，可以使用多次曝光训练数据(即，Zero-DCELargeLH)。如图10(B)所示，本文提出的的Zero-DCE在过度增强和欠增强之间具有良好的平衡。为了与其他基于深度学习的方法进行公平的比较，我们使用了与它们相当数量的训练数据，尽管更多的训练数据可以给我们的方法带来更好的视觉性能。

5.3 良好暴光水平的影响

我们研究了暴光控制损失中的良好暴光水平对我们方法增强性能的影响。我们设置了四个不同的良好暴露级别E（即0.4、0.5、0.6、0.7）来训练我们的网络，表示为Zero-DCEE0.4，Zero-DCEE0.5，Zero-DCEE0.6（即我们最终的零DCE模型）和Zero-DCEE0.7。一组可视化结果如图11所示。定量比较如表2所示。


如表2所示，Zero-DCEE0.6取得最好的定量分数。Zero-DCEE0.5获得与Zero-DCEE0.6相当的性能。Zero-DCEE0.4和Zero–DCEE0.7的定量性能略低于Zero-DCEE0.6和Zero–DCEE0.5。如图11所示，Zero-DCEE0.5和Zero-DCEE0.6获得视觉上令人愉悦的亮度。相比之下，Zero-DCEE0.4产生曝光不足，而Zero-DCEE0.7则过度增强了输入图像。最后，基于其良好的定性和定量性能，我们选择Zero-DCEE0.6作为最终模型。

6. 最后