【论文解读】Real-ESRGAN：使用纯合成数据训练真实世界的超分辨率图像

图一是4种超分方法的对比效果 。

0 摘要

        尽管在盲超分辨率方面已经进行了许多尝试，以恢复具有未知和复杂退化的低分辨率图像，但它们仍然远远不能解决一般的真实世界退化图像。在这项工作中，我们将强大的 ESRGAN 扩展到一个实际的恢复应用程序（即 Real-ESRGAN），该应用程序使用纯合成数据进行训练。具体来说，引入了高阶退化建模过程，以更好地模拟复杂的现实世界退化。我们还考虑了合成过程中常见的振铃和过冲伪影。此外，我们还采用了具有频谱归一化的 U-Net 判别器来提高判别器能力并稳定训练动态。广泛的比较表明，其视觉性能优于先前在各种真实数据集上的工作。我们还提供高效的实现，以动态合成训练对。

1 引言

        单图像超分辨率（SR）[13， 10， 27]是一个活跃的研究课题，旨在从低分辨率（LR）图像中重建高分辨率（HR）图像。自SRCNN的开创性工作[9]以来，深度卷积神经网络（CNN）方法为SR领域带来了蓬勃发展。 然而，大多数方法[21,27,20,25,50]假设一个理想的双三次下采样核，这与实际退化不同。这种退化不匹配使得这些方法在实际场景中不切实际。

        相反，盲超分辨率 [35， 2， 56] 旨在恢复遭受未知和复杂退化的低分辨率图像。 根据潜在的退化过程，现有的方法可以大致分为显式建模和隐式建模。经典的退化模型[11,29]，由模糊、下采样、噪声和JPEG压缩组成（详见第3.1节），在显式模型[56,16,34]中被广泛采用。然而，现实世界的退化通常过于复杂，无法用多个退化的简单组合进行建模。因此，这些方法在实际样本中很容易失败。 隐式建模方法[54,12,46]利用数据分布学习和生成对抗网络（GAN）[14]来获得退化模型。然而，它们仅限于训练数据集内的退化，并且不能很好地泛化到分布外的图像。鼓励读者参考最近的一项盲目SR调查[28]，以获得更全面的分类法。  

        这促使我们扩展经典的“一阶”退化模型为真实世界退化的“高阶”退化建模，即用几个重复的退化过程对退化进行建模，每个过程都是经典的退化模型。 根据经验，我们采用二阶降解过程，在简单性和有效性之间取得良好的平衡。 最近的一项研究[55]也提出了一种随机洗牌策略来合成更实际的退化。然而，它仍然涉及固定数量的降解过程，并且所有洗牌的降解是否有用尚不清楚。相反，高阶退化建模更加灵活，并试图模拟真实的退化生成过程。我们在合成过程中进一步加入了sinc滤波器，以模拟常见的振铃和过冲伪影。

        由于降解空间比ESRGAN大得多，因此训练也变得具有挑战性。具体来说，1）判别器需要更强大的能力来区分真实性和复杂的训练输出，而判别器的梯度反馈需要更准确才能增强局部细节。因此，我们将ESRGAN中的VGG式鉴别器改进为U-Net设计[41,52,39]。 2）U-Net结构和复杂的退化也增加了训练的不稳定性。 因此，我们采用频谱归一化（SN）正则化[37,41]来稳定训练动力学。配备专门的改进，使我们能够轻松训练我们的 Real-ESRGAN，并在局部细节增强和伪影抑制之间取得良好的平衡。

        总而言之，在这项工作中，1）我们提出了一个高阶退化过程来模拟实际退化，并利用sinc滤波器来模拟常见的振铃和过冲伪影。 2）我们采用了一些必要的修改（例如，具有光谱归一化的U-Net判别器）来增加判别器的能力并稳定训练动态。3）使用纯合成数据训练的Real-ESRGAN能够还原大多数真实世界的图像，并实现比以往作品更好的视觉表现，使其在实际应用中更具实用性。

2 相关工作

注意：由于没有找到合适下采样符号，故使用V来表示 。

D表示退化过程。我们将简要的回顾下这些常用的退化方法。详细设置在第 4.1 节中指定。更多描述和示例在附录A中。

        模糊。 我们通常将模糊退化建模为使用线性模糊滤波器（内核）的卷积。 各向同性和各向异性高斯滤波器是常见的选择。 对于核大小为 2 t + 1 的高斯模糊核 k，其 （i， j） ∈ [ − t， t ] 元素从高斯分布中采样，形式为：

其中 Σ 是协方差矩阵; C为空间坐标; N 是归一化常数。 协方差矩阵可以进一步表示如下：

其中和是沿两个主轴的标准差（即协方差矩阵的特征值）;θ 是旋转度。当 时，k 是各向同性的高斯模糊核;否则 k 是各向异性核。 

        讨论。 尽管高斯模糊核被广泛用于模拟模糊退化，但它们可能并不能很好地接近真实的相机模糊。 为了包含更多样化的核形状，我们进一步采用了广义高斯模糊核[31]和平台形分布。它们的概率密度函数 （pdf）分别为和。为形状参数。据经验，我们发现包括这些模糊内核可以为一些真实样本产生更清晰的输出。

        噪声。 我们考虑两种常用的噪声类型，1）加性高斯噪声和2）泊松噪声。加性高斯噪声具有等于高斯分布的概率密度函数。 噪音强度由高斯分布的标准差（即值）控制。当RGB图像的每个通道都有独立的采样噪声时，合成噪声为彩色噪声。我们还通过对所有三个通道使用相同的采样噪声来合成灰噪声[55,38]。

        泊松噪声服从泊松分布。 它通常用于近似模拟由统计量子涨落引起的传感器噪声，即在给定曝光水平下感测到的光子数量的变化。泊松噪声的强度与图像强度成正比，不同像素处的噪声是独立的。

        调整大小（缩减采样）。 下采样是在SR中合成低分辨率图像的基本操作。更一般地说，我们考虑下采样和上采样，即调整大小操作。 有几种调整大小算法 - 最近邻插值、面积调整大小、双线性插值和双三次插值。不同的调整大小操作会带来不同的效果 - 有些会产生模糊的结果，而有些可能会输出过于清晰的图像并伴有过冲伪影。

        为了包含更多样化和更复杂的调整大小效果，我们从上述选项中考虑随机调整大小操作。 由于最近邻插值引入了错位问题，因此我们排除了这个问题，只考虑面积、双线性和双三次运算。

        JPEG 压缩。 JPEG 压缩是数字图像的一种常用的有损压缩技术。 它首先将图像转换为 YCbCr 色彩空间，并对色度通道进行下采样。然后将图像分成 8 × 8 个块，每个块使用二维离散余弦变换 （DCT） 进行变换，然后对 DCT 系数进行量化。 有关JPEG压缩算法的更多细节，请参见[43]。JPEG 压缩通常会引入令人不快的块伪影。

        压缩图像的质量由质量因子 q ∈ [0， 100] 决定，其中较低的 q 表示较高的压缩比和较差的质量。我们使用 PyTorch 实现 - DiffJPEG [32]。

3.2 高阶退化模型

        当我们采用上述经典退化模型合成训练对时，训练后的模型确实可以处理一些真实样本。然而，它仍然无法解决现实世界中一些复杂的劣化问题，尤其是未知的噪声和复杂的伪影（见图3）。这是因为合成的低分辨率图像与逼真的退化图像仍然有很大的差距。因此，我们将经典的退化模型扩展到高阶退化过程，以模拟更实际的退化。

图片解释：用二阶退化过程来模拟更真实的退化，其中的每个退化过程都是由经典的退化步骤组成的。列出了模糊、调整大小、噪点和 JPEG 压缩的详细选项。我们还采用sinc滤波器来合成常见的振铃和过冲伪影。

 图片解释：使用经典退化模型的合成数据训练的模型可以解析一些真实样本（左）。然而，它们会放大噪点或为复杂的真实图像引入振铃伪像（右）。放大以获得最佳视野。

        一些基本的退化过程可视为一阶建模。然而，现实生活中的退化过程是多种多样的，通常包括一系列程序，包括相机成像系统、图像编辑、互联网传输等。例如，当我们想从互联网上恢复低质量的图像下载时，其潜在的降级涉及不同降级过程的复杂组合。 具体来说，原始图像可能是多年前用手机拍摄的，这不可避免地包含相机模糊、传感器噪声、低分辨率和 JPEG 压缩等退化。 然后通过锐化和调整大小操作对图像进行编辑，带来过冲和模糊伪影。 之后，它被上传到一些社交媒体应用程序，这引入了进一步的压缩和不可预测的噪音。由于数字传输也会带来伪影，当图像在互联网上多次传播时，这个过程变得更加复杂。

        如此复杂的劣化过程无法用经典的一阶模型进行建模。因此，我们提出了一个高阶退化模型。 n阶模型涉及n个重复的降解过程（如式5所示），其中每个降解过程采用经典的降解模型（式1），具有相同的过程，但具有不同的超参数。请注意，这里的“高阶”与数学函数中使用的“高阶”不同。 它主要是指同一操作的执行时间。[55]中的随机洗牌策略还可以包括重复的退化过程（例如，双重模糊或JPEG）。但我们强调，高阶退化过程是关键，这表明并非所有洗牌退化都是必要的。为了将图像分辨率保持在合理范围内，方程1中的下采样操作被随机调整大小操作所取代。 根据经验，我们采用了二阶退化过程，因为它可以在保持简单性的同时解决大多数实际情况。图 2 描绘了纯合成数据生成流水线的整体流水线。

         值得注意的是，改进的高阶退化过程并不完美，无法覆盖现实世界中的整个退化空间。相反，它只是通过修改数据合成过程来扩展先前盲SR方法的可求解退化边界。图 11 中提供了几种典型的限制场景。

3.3 振铃过冲伪影

        振铃伪影通常表现为图像中锐化过渡附近的杂散边缘。它们在视觉上看起来像边缘附近的带状或“幽灵”。过冲伪影通常与振铃伪影结合在一起，表现为边沿过渡处的跳跃增加。造成这些伪影的主要原因是信号在没有高频的情况下受到带宽限制。这些伪影很常见，通常由锐化算法、JPEG压缩等产生。 图5（上图）显示了一些存在振铃和过冲伪影的真实样本。

图片解释： Real-ESRGAN 采用与 ESRGAN 相同的生成器网络。对于× 2 和 × 1 的比例因子，它首次采用像素解洗操作来减小空间大小并将信息重新排列到通道维度。

 图片解释：上图：真实样本出现振铃效应和过冲伪影。 下图：sinc内核（内核大小为21）和相应过滤图像的示例。放大以获得最佳视野。

        我们采用sinc滤波器（一种切断高频的理想化滤波器）来合成训练对的振铃和过冲伪影。 sinc 滤波器内核可以表示为，该公式的实现来源于image processing - 2-d circularly symmetric low-pass filter - Signal Processing Stack Exchange：

图片解释： 具有频谱归一化的 U-Net 鉴别器架构

具有频谱归一化 （SN） 的 U-Net 鉴别器。由于Real-ESRGAN旨在解决比ESRGAN大得多的退化空间，因此ESRGAN中鉴别器的原始设计不再适用。 具体来说，Real-ESRGAN 中的判别器需要更大的判别能力来处理复杂的训练输出。除了区分全局样式外，它还需要为局部纹理生成准确的渐变反馈。受 [41， 52] 的启发，我们还将 ESRGAN 中的 VGG 式鉴别器改进为具有跳跃连接的 U-Net 设计（图 6）。UNet 输出每个像素的真实值，并可以向生成器提供详细的每个像素反馈。

同时，U-Net结构和复杂化也增加了训练的不稳定性。我们采用频谱归一化正则化[37]来稳定训练动态。此外，我们观察到光谱归一化也有利于缓解GAN训练引入的过于尖锐和烦人的伪影。通过这些调整，我们能够轻松训练RealESRGAN，并在局部细节增强和伪影抑制之间取得良好的平衡。

训练过程。分为两个阶段。首先，我们用 L1 损失训练一个面向 PSNR 的模型。得到的模型由Real-ESRNet命名。然后，我们使用经过训练的面向PSNR的模型作为生成器的初始化，并使用L1损失、感知损失[20]和GAN损失[14,26,4]的组合来训练Real-ESRGAN。

4 实验

4.1 数据和实现

训练细节。和ESRGAN类似，我们采用DIV2K [1]、Flickr2K [45]和OutdoorSceneTraining [49]数据集进行训练。训练的HR patch size为256,我们使用 4 个 NVIDIA V100 GPU 训练模型，总批次大小为 48 个。我们使用Adam优化器[23]。 Real-ESRNet 从 ESRGAN 进行了微调，以实现更快的收敛。 我们训练 Real-ESRNet 进行 1000 K 次迭代，学习率为，同时训练 Real-ESRGAN 进行 400 K 次迭代，学习率为 。 我们采用指数移动平均线 （EMA） 进行更稳定的训练和更好的表现。 RealESRGAN 使用 L1 损失、感知损失和 GAN 损失的组合进行训练，权重分别为 { 1 ， 1 ， 0 . 1 } 。 我们使用 { conv1， ...conv5} 特征图（权重 { 0 . 1 ， 0 . 1 ， 1 ， 1 ， 1 } ） 在预训练的 VGG19 网络 [20] 中激活函数之前作为感知损失。我们的实现基于BasicSR [48]。

退化详细过程。我们采用二阶退化模型，在简单性和有效性之间取得良好的平衡。 除非另有说明，否则这两个降级过程具有相同的设置。采用高斯核、广义高斯核和平台形核，概率为{0 . 7 ， 0 . 15 ， 0 . 15 } 。模糊核大小是从 { 7 ， 9 ， ...21 } .模糊标准差 σ 取样自 [0 . 2 ， 3] （ [0 . 2 ， 1 . 5] 用于第二次降解过程）。 形状参数β分别从[0. 5,4]和[1,2]中采样广义高斯核和高原形核。我们还使用概率为 0.1 的 sinc 内核。我们跳过了第二次模糊退化，概率为 0.2。

图片解释： 对几个具有代表性的真实世界样本进行定性比较，上采样比例因子为 4。 我们的 Real-ESRGAN 在去除伪影和恢复纹理细节方面都优于以前的方法。Real-ESRGAN+（使用锐化真实目标进行训练）可以进一步提高视觉清晰度。其他方法可能无法去除过冲（第一个样本）和复杂的伪影（第二个样本），或者无法恢复各种场景（第 3、4、5 个样本）的真实和自然纹理。（ 放大以获得最佳视野 ）

图片解释： 顶部：带和不带（放大以获得最佳视图）阶次降级过程的真实 ESRNet 结果。 底部：带和不带 sinc 滤波器的 Real-ESRNet 结果。放大以获得最佳视野

4.3 消融研究