论文阅读＜Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement＞_zero-dce论文

目录

一、原文地址

二、摘要

三、Introduction

四、方法论

Light-Enhancement Curve(LE-Curve)

DCE-Net

Non-Reference Loss Functions

五、结论和反思

一、原文地址

[2001.06826] Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement (arxiv.org)

        这是CVPR2020年的一篇文章，和以往使用CNN网络与GAN网络的模型不同，这一篇文章既不使用成对数据也不使用未程度的数据训练，使用网络学习调整的映射图，进行调整，网络非常轻量，可以考虑用于其他任务的图像增强。

二、摘要

       该论文提出了一种新方法，即零参考深度曲线估计 (Zero-DCE)，该方法将光增强制定为使用深度网络进行图像特定曲线估计的任务。我们的方法训练了一个轻量级的深度网络 DCE-Net，去估计给定图像的动态范围调整的逐像素的高阶的曲线。曲线估计是专门设计的，考虑了像素值范围、单调性和可微性。Zero-DCE的吸引力在于其对参考图像的宽松假设，它在训练期间不需要任何配对或未配对的数据。这是通过一组精心制定的非参考损失函数实现的，这些损失函数隐含地衡量增强质量并驱动网络的学习。我们的方法是有效的，因为图像增强可以通过直观和简单的非线性曲线映射来实现。尽管它很简单，但我们证明它可以很好地泛化到不同的光照条件。在各种基准上进行的大量实验证明了我们的方法在定性和定量上优于最先进的方法。此外，还讨论了我们的Zero-DCE在黑暗中进行人脸检测的潜在好处。

三、Introduction

       由于不可避免的环境和/或技术限制，许多照片通常是在次优照明条件下拍摄的。这些包括环境中的照明条件不足和不平衡、物体在极端背光条件下的不正确拜访和图像捕获期间的欠曝光。这种低光照片的美学质量和信息传输不尽如人意，前者会影响观众的体验，而后者会导致传达错误的信息，例如不准确的物体/人脸识别。

       在这项研究中，我们提出了一种新的基于深度学习的用于低照度图像增强的方法，即零参考深度曲线估计(Zero-DCE)，它能够应对多种照明条件，包括不均匀和光线不足的情况。没有进行图像到图像的映射，我们将这一任务重新表述为图像特定的曲线估计问题(image-specific curve estimation problem)。尤其是提出的方法将低照度图像作为输入，并生成高阶曲线作为输出。然后使用这些曲线对输入的动态范围进行逐像素调整以获得增强图像。曲线估计被仔细重定义，以保持增强图像的范围并保持相邻像素的对比度。更重要都是，曲线是可微的，因此我们可以通过深度卷积神经网络学习曲线的可调整参数。所提出的网络是轻量级的，可以迭代地应用于逼近高阶曲线，以实现更稳健和准确的动态范围调整。

        该方法的一个优点是zero-reference，在训练时不需要成对的数据也不需要未成对的数据。这是通过一组专门设计的非参考的损伤函数实现的，包括空间一致度损失，颜色恒定性损失和光照平滑损失，所有这些作为光增强考虑的多因素。我们表明，即使使用零参考训练，Zero-DCE 仍然可以与其他需要配对或未配对数据进行训练的方法竞争。

Contributions：

1. 我们提出了第一个独立于成对和未成对训练数据的弱光增强网络，从而避免了过度拟合的风险。由此，我们的方法对于不同的光照条件具有很好的泛化性。
2. 我们设计了一个特定于图像的曲线，它能够通过迭代应用自身来近似像素级和高阶曲线。这种图像特定的曲线可以在宽动态范围内有效地进行映射
3. 我们通过间接评估增强质量的任务特定的非参考损失函数展示了在没有参考图像的情况下训练深度图像增强模型的潜力

特点：性能好、不增加计算负担，能够实时处理图像(30 min 训练，500FPS)

四、方法论

• Light-Enhancement Curve(LE-Curve)

设计深度曲线估计网络(DCE-Net)来估计给定输入图像的一组最佳拟合光增强曲(LE 曲线)。然后，该框架通过迭代应用曲线来映射输入的 RGB 通道的所有像素，以获得最终的增强图像。

灵感来自照片编辑软件中使用的曲线调整，我们尝试设计一种可以自动将低光图像映射到增强版本的曲线，其中自适应曲线参数完全取决于输入图像。

这样一条曲线设计有三个目的：

1. 增强图像的每个像素值应在[0,1]的归一化范围内，以避免溢出截断引起的信息丢失；
2. 这条曲线应该是单调的，以保持相邻像素的差异（对比度）；
3. 这条曲线的形式应该尽可能简单，并且在梯度反向传播过程中是可微的。

其中x是像素的坐标，LE(I(x),α)是输入图像的增强结果，α∈[−1, 1]为可训练曲线参数，是用来调整LE曲线的大小和调整曝光水平。每一个像素被正则化至[0,1]，所有操作都是逐像素的。我们分别将 LE 曲线应用于三个 RGB 通道，而不是仅应用于照明通道，三通道调整能够更好地保存内在的颜色和降低过饱和的风险。这种方法不仅能增强低光区域，而且能移除过曝光的伪影。

1.1  Higher-Order Curve

公式中n是迭代总数，控制曲率，本文中设置n=8可以令人满意地处理大多数情况。公式2可以退化为公式1，具有不同α和n的高阶曲线，具有更强大的调节能力。

 

1.2  Pixel-Wise Curve

高阶曲线可以在更宽的动态范围内调整图像。尽管如此，它仍然是一个全局调整，因为 α 用于所有像素。为了解决这一问题，将α 表示为像素级参数，给定输入图像的每个像素都有一个对应的曲线与最佳拟合α来调整其动态范围。A是与给定图像大小相同的参数图。

 

假设局部区域的像素具有相同的强度，输出结果中的相邻像素仍然保持单调关系。

• DCE-Net

为了学习输入图像与其最佳拟合曲线参数图之间的映射，我们提出了深度曲线估计网络(DCE-Net)，DCE-Net的输入是低照度图像，而输出对应高阶曲线的一组像素曲线参数图。使用具有对称级联的7个卷积层的普通CNN，每层由32个大小为3*3步长为1，激活函数为ReLU的卷积核组成，我们丢弃了破坏相关像素关系的下采样和批量归一化层。最后一个卷积层使用的是Tanh激活函数，为8个迭代轮次产生24个参数映射，每个iteration有3个map。

• Non-Reference Loss Functions

3.1 Spatial Consistency loss(空间一致性损失)

空间一致性损失通过保留输入图像和其增强图像相邻像素间的差异来促进增强图像的空间一致性，其中K是局部区域的总数，是i的四个相邻区域(上、下、左、右)，Y和I分别是增强图像和输入图像中局部区域的平均强度值，局部区域大小为4*4，考虑到其他区域大小，这种损失是稳定的。

3.2 Exposure Control Loss(曝光控制损失)

为了抑制欠曝光/过曝光区域，设计曝光损失控制损失去控制曝光度。曝光控制损失衡量局部区域的平均强度值与良好曝光水平 E 之间的距离。设置E为颜色空间中的灰度值，取E=0.6，尽管E在[0.4,0.7]之间没有明显的性能差异，其中M表述大小为16*16的非重叠区域的大小，Y是增强图像的局部区域的平均强度值。

3.3 Color Constancy Loss(颜色恒常性损失)

Gray-World颜色恒常性假设：每个传感器通道中的颜色在整个图像上平均为灰色。

遵循这一假设，设计了颜色恒常性损失，共有两个目的：1）纠正图像中潜在的颜色偏差；2）建立三个调整通道之间的关系。其中代表增强图像中P通道的平均强度值，(p,q)代表一对通道。

3.4 Illumination Smoothness Loss(光照平滑度损失)

为了保持相邻像素之间的单调性关系，我们向每个曲线参数图 A 添加了光照平滑度损失。损失中，N是iteration的总数，和分别是水平和垂直方向的梯度。

3.5 Total Los(总损失)

和是损失的权重，实验中=0.5，=20

 

3.6  Contribution of Each Loss(每个损失的贡献)

没有损失对比度较低，没有损失无法全部恢复低照度区域，没有损失出现颜色偏移，没有损失导致明显的伪影。

五、结论和反思

        我们提出了一个用于图像增强的深度网络，可以以零参考图像端到端的方式进行训练，它可以使用零参考图像进行端到端训练。这是通过将低光图像增强任务表述为特定于图像的曲线估计问题，并设计一组可区分的非参考损失来实现的。实验证明了我们的方法相对于现有光增强方法的优越性。在未来的工作中，我们将尝试引入语义信息来解决困难案例并考虑噪声的影响。

1、最终在性能和效率之间做权衡，选择7-32-8，当迭代次数较少时，调整能力弱，迭代次数增加，计算消耗也增加。

2、Zero-DCE 在训练时移除过度曝光的数据会有过度增强的结果。

3、使用非感知参数(PI)取评估感知质量，这一指标原来是用在图像超分任务的，它还被用于评估其他图像恢复任务的性能，例如图像去雾。较低的 PI 值表示更好的感知质量。