CVPR 2023 RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors 个人学习笔记

1. Introduction

        图像去雾的目的是从有雾的图像中恢复干净的图像，这对于计算摄影和高级任务[22,36]至关重要。模糊的图像公式通常用物理散射来描述

其中I (x)为有雾图像，J (x)为对应的干净图像。变量A和t (x)分别为全球大气光图和透射图。传输图t (x) = e βd (x)取决于场景深度d (x)和雾霾密度系数β。

     给定一个有雾的图像，恢复它干净的版本是高度不适的。为了缓解这一问题的病态性，在现有的传统方法中提出了各种先验，如暗通道先验[18]、颜色衰减先验[50]和颜色线[13]。然而，统计先验不能涵盖现实世界场景中的不同情况，导致次优的脱雾性能。

    随着深度学习的出现，图像去模糊处理取得了显著的进展。现有的方法要么采用深度网络估计物理参数[6,25,35]，要么直接恢复无雾图像[11,17,31,34,45]。然而，图像去模糊神经网络由于难以收集大规模但完全对齐的配对训练数据，并在没有鲁棒先验的情况下解决不适定问题的不确定性，因此难以推广到真实场景。具体地说，1)收集大规模的、完美对齐的模糊图像是非常困难的，如果不是不可能的话。因此，大多数现有的深度模型使用合成数据进行训练，其中模糊的图像是使用等式生成的(1)，导致忽视了多种降解因素。有一些真实的模糊图像数据集[2,3]与配对数据， 但大小和多样性还不够。 此外，这些数据集偏离了在野外捕获的模糊图像

        在这项工作中，我们提出了一个新的范式的真实图像去模糊动机解决上述两个问题。为了获得大规模的、完美对齐的配对训练数据，我们通过观察大量真实的模糊图像来重新考虑模糊图像的退化，并提出了一种考虑多种退化因素的新的数据生成管道。为了解决不适定问题的不确定性，我们尝试在高质量图像上训练一个VQGAN [12]，以提取更鲁棒的高质量先验（HQPs）。VQGAN只学习高质量的图像重建，因此它自然地包含了鲁棒的hqp，可以帮助模糊的特征跳转到干净的域。4.1节中的观察进一步验证了我们的动机。因此，我们提出了通过高质量的码本先验（RIDCP）的真实图像去模糊网络。VQGAN的码本和解码器被固定下来，以提供hqp。然后，RIDCP配备了一个编码器，以帮助找到正确的hqp，和一个新的解码器，利用来自固定解码器的特征，并产生最终的结果。此外，我们提出了一种新的归一化特征对齐（NFA），它可以减轻失真和平衡特征，以获得更好的融合。

        与以往引入码本进行图像恢复的方法[7,16,48]相比，我们根据VQGAN的特征和统计结果，进一步设计了一种独特的实域自适应策略。直观地说，我们提出了可控制的HQPs匹配（CHM）操作，该操作通过在推理阶段对特征和HQPs之间的距离施加精心设计的权重来取代最近邻匹配。权重由一个可控参数α和Sec中HQPs激活的统计分布间隙决定。4.3.通过调整α，可以改变HQPs激活的分布。此外，我们提出了一个理论上可行的解，通过最小化两个概率分布的库尔贝克-勒伯散度来得到α的最优解。更重要的是，α的值可以直观地反映为如图1(d)所示的增强程度，并且用户可以根据自己的喜好调整脱雾结果。我们的CHM是有效的，灵活的，和可解释的。

图1.对典型模糊图像的视觉比较。该方法比其他两种最先进的真实图像去模糊方法产生更干净的结果。在实域适应阶段采用不同的参数可以灵活调整结果的增强程度。带有金色边框的图像是在我们推荐的参数下得到的结果。

        与目前最先进的真实图像去模糊方法，如DAD [37]和PSD [8]方法相比，只有所提出的RIDCP才能有效地处理在野外捕获的模糊图像，同时生成可调的结果，如图1所示。我们的工作的贡献可以总结如下：

• 我们提出了一种新的范式，将基于深度学习的图像去模糊的前沿推向真实场景。

• 我们是第一个在真实图像脱模糊任务中利用高质量的码本先验。为了克服合成域与实域之间的差距，提出了可控的匹配操作，产生可调结果。

• 我们重新建立了真实模糊图像的退化模型，并提出了一个现象学退化管道来模拟在野外捕获的模糊图像。

其中，K为码本大小，n为zˆ的信道数，M（·）表示匹配操作。最后，用Gvq重构输入x：

其中，x‘是重建的结果。

观察结果1。为了了解编码本中hqp的潜力并更好地利用它，我们对预先训练过的VQGAN重建的结果进行了一些观察。如图3所示，我们的VQGAN可以去除薄的雾，为模糊的输入恢复无需微调的生动的颜色。我们分析了，以匹配的方式使用hqp可以取代退化的特征，从而帮助它跳转到高质量的领域。但是，由于难以匹配正确的代码，VQGAN的脱雾能力受到了限制。此外，由于矢量量化阶段的信息丢失，产生了一些失真纹理。因此，直接采用Gvq中的特征是次优的。很直观，我们的下一步是训练一个可以帮助先验匹配的编码器E，以及一个解码器G，它可以利用从hqp重建的特征。

图3。结果由预先训练好的VQGAN重建。雾霾被去除，但引入了扭曲的纹理。

具有规范化特征对齐的解码器。我们提出了归一化特征对齐（NFA）来帮助解码器利用从hqp重建的特征。首先，由于向量量化歌剧带来的信息损失，VQGAN倾向于降低结果的保真度tion [16, 48].我们的解决方案是在hqp匹配前通过特征的引导来消除失真。具体来说，在第一层中，我们采用可变形卷积[10]将Gvq的特征F i vq与G的特征Fi对齐，可以写为：

其中F i w为翘曲后的特征，DCONV为可变形的卷积层。CONV是进行偏移量生成的卷积层。此外，我们注意到F i w和Fi的值的比值并不稳定，导致了一个不充分的组合。因此，我们通过迫使它们在相同的数量级来平衡它们的贡献，这可以写成：

4.3.Controllable HQPs Matching Operation 可控制的hqp匹配操作

观察结果2。我们的RIDCP在E和g的帮助下取得了相对令人满意的结果。然而，在一些具有挑战性的真实数据中仍然存在一些局限性，例如，低色饱和度。而不是hqp已经显示出了很强的重建生动结果的能力（见观察1），主要原因是难以找到正确的hqp，这是由于合成数据和真实数据之间的领域差距造成的。虽然我们的合成管道比以前的工作[26,47]大大减少了域间隙，但我们的管道仍然不可能覆盖所有真实世界的模糊条件。

        为了证实我们的主张，我们作出了如下观察。我们随机收集200张高质量的干净图像作为预先训练好的VQGAN的输入，并计算每个代码的激活频率fc∈RK。同样，将200张真实的模糊图像输入去模糊网络，计算频率fh∈∈。图4显示了fh和fc之间最大差异的代码的激活频率。我们可以看到一个显著的分布变化。观察结果表明，不可避免的域间隙导致了hqp的发散匹配。因此，hqp仍有尚未被探索的潜力。

图4。在不同的情况下的代码激活频率。“去雾”表示将真实的模糊图像输入到去雾网络中，“干净”表示将干净的图像输入到预先训练好的VQGAN网络中。“调整”表示我们的RIDCP在推荐的参数下配备了CHM，具有真正的模糊输入。

通过距离重新计算进行控制匹配。基于以上观察，当遇到真实的模糊图像时，即在清晰图像上的高频先验时，匹配更好的hqp是不可缺少的。有两个组件可以影响HQPs的匹配，即编码器E和匹配操作M（·）。由于在没有参考图像的情况下，很难对真实的模糊图像进行重新训练，因此定义一个新的匹配操作M‘（·）听起来像是一个合理的解决方案。我们提出了可控的HQPs匹配（CHM），它通过在匹配阶段分配不同的权重来重新计算距离。CHM可以写成：

其中F（f˜k，α）是基于频率差f˜k = fh k−fc k并由参数α调整并生成权重的函数。F的设计有三个目标： 1)由于较高的˜˜意味着需要较少的激活，˜和˜˜应该是单调的，从而确保一致的趋势调整。2) F（0，α）≡1，使在清晰和模糊的数据上具有相同频率的hqp不进行调整。3)调节的程度可以由α单调地控制，例如，∀f˜1 > f˜2，∀α1 > α2→F（f˜1，α1）F（˜f2，α1）>F（˜f1，α2）F（˜f2，α2）。巧合的是，指数函数具有这些性质，因此F可以表示为；

推荐的α的可能的解决方案。我们的方法能够基于上述策略来控制hqp的匹配。最终的目标是找到一个合适的α来使网络适应真实的域。根据大数定律，频率fc k、fh k可以代替相应的概率Pc（x = zk）、Ph（x = zk|α）。脱雾结果与干净域之间的差距可以用两个概率分布之间的差值来表示。因此，将实域自适应问题转化为计算一个最优参数ˆα，该参数可以最小化Pc（x = zk）和Ph（x = zk|α）的前向库尔回-雷伯散度，这也是最大的α的似然估计：

我们使用一个二元搜索算法来迭代地寻找ˆα的近似最优解。最终的测定结果为ˆα=21.25，较高精度的计算对结果影响不大。请注意，ˆα可能不是所有情况下的确定选择。用户可以根据用户的喜好灵活调整α。