基于零参考深度曲线估计的暗光图像增强_zero-dce++

    天下事以难而废者十之一，以惰而废者十之九。——《严氏家训·议兵篇》

摘要：

    本文提出了一种新的基于零参考深度曲线估计(Zero-DCE)的方法，该方法将光照增强描述为一种基于深度网络的特定图像曲线估计任务。我们的方法训练了一个轻量级的深度网络DCE-Net，用来估计像素级和高阶曲线，以调整给定图像的动态范围。曲线估计是专门设计的，考虑了像素值范围、单调性和可微性。Zero-DCE的优点在于它对参考图像的宽松假设，即它在训练过程中不需要任何配对或甚至不配对的数据。这是通过一组精心设计的非参考损失函数来实现的，这些函数隐含地测量增强质量并驱动网络的学习。尽管它很简单，但我们表明它对不同的照明条件具有很好的普适性。我们的方法是有效的，因为图像增强可以通过直观和简单的非线性曲线映射来实现。我们进一步介绍了Zero-DCE的加速和轻量级版本，称为Zero-DCE++，它利用了仅有10K参数的微型网络的优势。Zero-DCE++在保持Zero-DCE增强性能的同时，具有较快的推理速度(对于1200×900×3大小的图像，在单GPU/CPU上为1000/11 FPS)。在不同基准上的大量实验表明，我们的方法在定性和定量上都优于最先进的方法。此外，我们还讨论了我们的方法在黑暗中进行人脸检测的潜在好处。源代码将在https://li-chongyi.github.io/ProjZero-DCE++.html上公开提供。

关键词：

    计算摄影，微光图像增强，曲线估计，零参考学习。

1 简介：

    由于不可避免的环境和技术限制，许多照片通常是在不理想的照明条件下拍摄的。这些问题包括环境中的照明条件不充分和不平衡、物体在极端背光下放置不正确，以及在图像捕获过程中曝光不足。这类低光照片的美感质量受到影响，信息传递也不尽如人意。前者会影响观众的体验，而后者会导致传达错误的信息，如不准确的物体/人脸检测和识别。此外，尽管深度神经网络在图像增强和恢复方面表现出了令人印象深刻的性能，但是由于参数空间庞大，它们不可避免地会导致较高的存储空间和较长的推理时间。在实际应用中，特别是在移动平台等资源受限的实时设备上，人们对深层模型的计算代价和快速推理速度提出了更高的要求。

    在这项研究中，我们提出了一种新的基于深度学习的微光图像增强方法--零参考深度曲线估计(Zero-DCE)。它可以应对不同的照明条件，包括不均匀和光线不佳的情况。我们没有执行图像到图像的映射，而是将该任务重新表述为图像特定的曲线估计问题。特别地，该方法以一幅暗光图像为输入，生成高阶曲线作为输出。然后使用这些曲线对输入的动态范围进行像素调整，以获得增强的图像。曲线估计经过精心设计，既能保持增强图像的范围，又能保持相邻像素的对比度。更重要的是，它是可微的，因此我们可以通过深度卷积神经网络来学习曲线的可调参数。该网络是轻量级的，所设计的曲线可以迭代地应用于逼近高阶曲线，以获得更鲁棒和更精确的动态范围调整。

    我们的基于深度学习的方法的一个独特的优势是零参考，即它不像现有的基于CNN的方法和基于GAN的方法那样在训练过程中需要任何配对或甚至不配对的数据。这是通过一组特别设计的非参考损失函数来实现的，包括空间一致性损失、曝光控制损失、颜色稳定性损失和照明平滑度损失，所有这些都考虑了光增强的多个因素。我们表明，即使在零参考训练的情况下，Zero-DCE仍然可以与其他需要配对或不配对数据进行训练的方法相比具有竞争力。该方法具有较强的灵活性。我们为Zero-DCE的实际应用提供了平衡增强性能和计算成本的选择，并提出了一种加速的轻量级版本Zero-DCE++。这是通过重新设计网络结构、重新制定曲线估计和控制输入图像的大小来实现的。

    图1中示出了增强包括非均匀照明的微光图像的示例。与最先进的方法相比，Zero-DCE和Zero-DCE++都使图像变亮，同时保留固有的颜色和细节。相反，基于CNN的方法和基于GAN的方法都产生过低(表面)和过高(箱体)增强。我们在本文中表明，我们的方法在定性和定量度量方面都获得了最先进的性能。此外，它能够改善高级视觉任务，例如人脸检测，而不会造成较高的计算负担。

     我们的贡献总结如下。

1. 我们提出了第一个独立于成对和非成对训练数据的微光增强网络，从而避免了过度拟合的风险。因此，我们的方法对各种光照条件都具有很好的通用性。
2. 我们设计了一种特定于图像的曲线，它能够通过迭代应用自身来逼近像素级和高阶曲线。这种特定于图像的曲线可以在宽动态范围内有效地执行映射。
3. 通过间接评估增强质量的任务特定的非参考损失函数，我们展示了在没有参考图像的情况下训练深度图像增强模型的潜力。
4. 所提出的Zero-DCE可以在保持令人印象深刻的增强性能的同时显著地加速。我们提供了多种选择来平衡增强性能和计算资源成本。

    这项工作是我们早先在CVRP2020中出现的会议版本的扩展。与会议版相比，我们引入了大量的新材料。1)研究了增强性能与网络结构、曲线估计和输入大小的关系。根据研究结果，我们重新设计了网络结构，重新制定了曲线形成规则，控制了输入图像的大小，从而提出了一种更适合资源受限设备实时增强的加速轻量级版本Zero-DCE++。2)与我们以前的工作相比，在不影响增强性能的情况下，Zero-DCE++上1200×900×3输入图像的可训练参数(79K)和浮点运算(FLOP)(84.99G)分别降至10K和0.115G。这意味着在单个NVIDIA 2080Ti GPU上处理1200×900×3大小的图像时，运行时速度将从Zero-DCE中的500 FPS提高到Zero-DCE++中的1000 FPS。此外，即使只使用Intel Core i9-10920X CPU@3.5 GHz，在Zero-DCE++上，Zero-DCE的处理时间也可以从10s减少到0.09s，在单个CPU设置上速度提高了111倍。训练时间也从30分钟减少到20分钟。3)我们进行了更多的实验、设计分析和消融研究，以证明零参考学习在微光图像增强中的优势，并表明我们的方法比现有的最先进的方法更有效。4)对微光图像增强方法进行了较为全面的文献综述，讨论了现有方法的优点和局限性。

2 相关工作

    我们的工作是将零参考学习与深度曲线估计相结合，对微光图像增强进行了一次新的尝试，这在以往的工作中是很少涉及的。在接下来的工作中，我们回顾了微光图像增强的相关工作，包括常规方法和数据驱动方法。

传统方法 基于直方图均衡(HE)的方法通过扩大图像的动态范围来实现光线增强。在全局和局部两个级别调整图像的直方图分布。也有各种方法采用Retinex理论，通常将图像分解为反射和照度。通常假设反射率分量在任何照明条件下都是一致的；因此，光增强被表示为一个照度估计问题。基于Retinex理论，已经提出了几种方法。Wang等人设计了一种在处理光照不均匀的图像时保持自然度和信息的方法；Fu等人提出了一种同时估计图像反射率和照度的加权变异模型。估计的反射率被视为增强结果；Guo等人首先通过搜索每个像素位置的最大亮度来估计粗光照图，然后通过结构先验对光照图进行细化；Li等人提出了一种新的考虑噪声的Retinex模型。通过求解一个优化问题对光照图进行估计。

    与传统的偶然改变图像直方图分布或依赖于可能不准确的物理模型的方法相反，该方法通过图像特定的曲线映射来获得增强的结果。这样的策略能够在不产生不切实际的伪像的情况下增强图像上的光线。Yuan和Sun提出了一种自动曝光校正方法，该方法通过全局优化算法估计给定图像的S形曲线，并通过曲线映射将每个分割区域推到其最优区域。与此不同的是，我们的方法是纯数据驱动的，在非参考损失函数的设计中考虑了多种光增强因素，因此具有更好的鲁棒性、更宽的图像动态范围调整范围和更低的计算负担。

数据驱动的方法 数据驱动方法主要分为两大类，即基于卷积神经网络(CNN)的方法和基于产生式对抗网络(GAN)的方法。大多数基于CNN的解决方案依赖成对数据进行监督训练，因此它们是资源密集型的。通常情况下，配对数据是通过自动降光、在数据捕获过程中更改相机设置或通过图像修饰合成数据来彻底收集的。例如，LL-NET和MBLLEN在模拟随机伽马校正的数据上进行训练；在图像采集过程中，通过改变曝光时间和ISO，采集成对的微光/常光图像的LOL数据集；麻省理工学院-Adobe FiveK数据集包含5000张原始图像，其中每一张都有5张由训练有素的专家制作的经过修饰的图像。MIT-Adobe FiveK数据集最初是为图像全局润色而收集的；SID提供成对的微光/正常光原始数据；收集了原始微光视频和相应的以视频率捕获的正常光视频的数据集。

    受Retinex模型的启发，最近的深度模型设计了通过使用成对数据的监督学习来估计输入图像的反射率和照度的网络。Renet等人提出了一种用于微光图像增强的深度混合网络，该网络由两个流组成，在统一的网络中学习全局内容和显著结构。Wanget等人通过估计光照图，提出了一种曝光不足的照片增强网络。这个网络是根据配对的数据进行训练的，这些数据经过三位专家的润色。Zhang等人建立了一个网络来点燃图像的黑暗，称为KinD，它将图像分解成两个部分。照明组件负责光调节，而反射组件负责去除退化。基于Retinex模型的深层模型仍然面临着与传统的基于Retinex的方法相同的局限性，如理想假设等。

    最近，Xu等人提出了一种基于频率的分解和增强模型，用于微光图像增强。该模型首先在低频层恢复图像内容，然后在恢复图像内容的基础上对高频细节进行增强。该模型是在实际噪声微光和真值RGB图像对的微光数据集上训练的。

    可以理解的是，考虑到收集足够的配对数据所涉及的高成本以及在训练深层模型时包括人为的和不切实际的数据，基于配对数据的光增强解决方案在许多方面都是不切实际的。这些限制体现在基于CNN的方法泛化能力较差上。当向这些方法呈现各种光强度的真实图像时，通常会产生伪影和颜色投射。

    基于无监督GAN的方法具有消除用于训练的成对数据的优点。EnlighttenGAN是一种基于GAN的无监督方法，学习使用未配对的微光/正常光数据来增强微光图像。网络的训练考虑了精心设计的鉴别器和损失函数。然而，非监督的基于GAN的解决方案通常需要仔细选择未配对的训练数据。

    为了整合CNNs和GANs的优势，Yang等人提出了一种微光图像