SRNTT：Image Super-Resolution by Neural Texture Transfer_zhifei zhang, zhaowen wang, zhe lin, and hairong q

作者：Zhifei Zhang, Zhaowen Wang, Zhe Lin, Hairong Qi
论文链接：https://arxiv.org/pdf/1903.00834.pdf
项目链接：http://web.eecs.utk.edu/~zzhang61/project_page/SRNTT/SRNTT.html
代码链接：https://github.com/ZZUTK/SRNTT

摘要

  由于低分辨率（LR）图像中的大量信息丢失，在单图像超分辨率（SISR）的最新技术上进一步改进变得极具挑战性。另一方面，基于参考的超分辨率（RefSR）已被证明在提供与LR输入具有相似内容的参考（Ref）图像时，有望恢复高分辨率（HR）细节。但是，当Ref不太相似时，RefSR的质量可能会严重下降。本文旨在通过一种具有更强的鲁棒性的方式利用Ref图像的更多纹理细节（即使提供了不相关的Ref图像）来释放RefSR的潜力。受近期图像样式化工作的启发，我们将RefSR问题公式化为神经纹理（neural texture？）转移。我们设计了一个端到端的深度模型，该模型通过根据Ref图像的纹理相似性自适应传递Ref图像的纹理来丰富HR细节。而不是像以前的方法那样在原始像素空间中匹配内容，我们的主要贡献是在神经空间中进行的多级匹配。这种匹配方案促进了多尺度神经传递，这使得该模型能够从那些语义相关的Ref补丁中受益更多，并在最不相关的Ref输入上优雅地降级为SISR模式。我们为RefSR的一般研究建立了一个基准数据集，其中包含Ref图像与相似程度不同的LR输入配对。定量和定性评估都证明了我们的方法优于最新技术 [图1] 。

1. 介绍

    传统的单图像超分辨率（SISR）问题定义为从其低分辨率（LR）观察中恢复高分辨率（HR）图像[38]。 与计算机视觉研究的其他领域一样，卷积神经网络（CNN）的引入[5、37、22、25、35、13]极大地推动了SISR的发展。 但是，由于SISR问题的不适定性，大多数现有方法仍会在较大的放大因子（例如：4倍）下遭受模糊结果的影响，尤其是当恢复原始HR图像中存在但在对应的LR图像中丢失的精细纹理时。 近年来，SISR问题公式中引入了与感知相关的约束，例如perception loss[20]和adversarial loss[11]，从而导致在较大的放大因子下视觉质量的重大突破[24，30]。 但是，它们倾向于使假纹理产生幻觉，甚至产生伪影。
    本文从传统的SISR转向于探索基于参考的超分辨率（RefSR）。 RefSR利用来自HR参考（Ref）的丰富纹理来补偿LR图像中丢失的细节，从而缓解不适的问题并在参考图像的帮助下生成更详细和逼真的纹理。请注意，Ref图像可以从各种各样的来源处（例如相册，视频帧，Web图像搜索等）获得。已有的RefSR方法[8、3、7、33、39、34、27、41] 采用内部示例（自示例）或外部高频信息以增强纹理。然而，这些方法假设参考图像具有与LR图像相似的内容和/或具有良好的对准性。否则，它们的性能将大大下降，甚至比SISR方法更差。相反，参考图像在我们的设置中起着不同的作用：它不需要与LR图像良好对齐或具有相似内容。相反，我们仅打算将语义相关的纹理从Ref图像传输到输出SR图像。理想情况下，当给出良好的Ref图像时，健壮的RefSR算法应优于SISR，并且在未提供Ref图像或根本不具有相关纹理的情况下，可达到与SISR相当的性能。注意，内容相似性将推断出纹理相似性，反之则不行。
    受最近图像样式化工作的启发[10、20、4]，我们提出了一种新的RefSR算法，称为神经纹理转移超分辨率（SRNTT），它可以将纹理从Ref图像自适应地转移到SR图像。更具体地说，SRNTT在特征空间中进行局部纹理匹配，然后通过深度模型将匹配的纹理转移到最终输出。纹理传递模型了解LR和Ref纹理之间的复杂依赖关系，并在抑制不相似纹理的同时利用相似纹理。图1中的示例说明了与两个最新技术作品SRGAN [24]（对于SISR）和CrossNet [41]（对于RefSR）相比，所提出的SRNTT的优势。如果使用内容相似的Ref图像，则SRNTT与其他方法相比，在合成更精细的纹理方面显示出显着的提升（例如，图1（a）上方）。即使使用内容无关的Ref图像（即，图1（a）较低），SRNTT仍可与SRGAN相媲美（视觉质量类似，但伪像更少），这表明SRNTT对不同级别的Ref图像的适应性/鲁棒​​性内容相似度。相比之下，Cross-Net会从不​​相关的Ref图像中引入不需要的纹理，并显示出严重的性能下降。

图1：将SRNTT（我们的）与SRGAN [24]（最新的SISR方法）和CrossNet [41]（最新的RefSR方法）进行了比较。 （a）两个参考图像。 如（b）右下角所示，上部分（U）具有与LR输入相似的内容，而下部分（L）与LR输入具有不同或无关的内容。 （c）SRGAN的结果。 （d）（e）分别使用两个参考图像的CrossNet结果。 （f）（g）分别使用两个Ref图像进行SRNTT的结果。

    为了促进公平的比较并总体上推动对RefSR问题的研究，我们提出了一个名为CUFED5的新数据集，该数据集提供了训练和测试集，并在内容，纹理，颜色，照明， 观点等。本文的主要贡献是：

• 我们探索了一个更一般的RefSR问题，打破了SISR的性能障碍（即缺乏纹理细节），并放宽了现有RefSR的约束（即对齐假设）。
• 对于RefSR问题，我们提出了端到端深度模型SRNTT，以通过多尺度神经纹理转移恢复以任何给定参考为条件的LR图像。 我们通过大量的经验研究证明了所提出的SRNTT的视觉效果，有效性和适应性。
• 我们建立了基准数据集CUFED5，以促进RefSR方法的进一步研究和性能评估，以处理与LR输入图像具有不同相似度的参考。

    在本文的其余部分中，我们将在第2节中回顾相关工作。在第3节中讨论网络体系结构和培训标准。在第4节中，将详细描述所建议的数据集CUFED5。 第5节介绍了定量和定性评估的结果。最后，第6节总结了本文。

2. 相关工作

2.1 基于深度学习的SISR

    近年来，与基于非深度学习的方法相比，基于深度学习的SISR在PSNR或视觉质量方面均表现出优异的性能[5，37，24]。 读者可以参考[29，38]进行更全面的评论。 在这里，我们仅关注基于深度学习的方法。
    Dong等人提出了一项将CNN引入SR的里程碑式工作。 [5]，其中训练了一个三层全卷积网络以最小化SR图像和原始HR图像之间的均方误差（MSE）。 它展示了深度学习在SR中的有效性，并实现了最先进的性能。 Wang等。 [37]结合了稀疏编码和深度网络的优势，并且比以前的模型有了很大的改进。 为了加快SR过程，Dong等人 [6]和Shi等人 [31]直接从LR图像中提取特征，与通过双三次插值处理放大的LR图像相比，该方法还具有更好的性能。 近年来，最先进的性能（以PSNR表示）都通过基于深度学习的模型来实现[22、21、25]。
    通常，上述方法旨在将SR和HR图像之间的MSE最小化，这可能并不总是与人工评估（即感知质量）相一致[24，30]。 因此，与感知相关的约束被纳入以获得更好的视觉质量。 约翰逊等。 [20]证明了使用VGG [32]增加感知损失的有效性。 Ledig等人[24]从生成对抗网络（GAN）引入对抗损失，以最大程度地减小SR和HR图像之间在感知相关的距离。 Sajjadi等。 [30]进一步结合了基于样式转移[9，10]的思想，以增强SR图像的纹理，从而降低了纹理匹配损失。 拟议的SRNTT与[24，30]密切相关，其中并入了与感知相关的约束（即感知损失和对抗损失）以恢复视觉上更合理的SR图像。

2.2 基于参考的超分辨率

    与仅将单个LR图像用作输入的SISR相比，RefSR方法引入了其他图像来辅助SR过程。通常，参考图像需要具有与LR图像相似的纹理和/或内容结构。可以从视频[26、2]中的相邻帧，来自Web检索的图像[39]，外部数据库（词典）[42]或来自不同视点的图像[41]中选择参考。有很多SR方法涉及自修补程序/邻居[8、3、7、16]，这被广泛称为基于自示例的SR。他们不使用外部参考，因此更接近SISR问题。这些工作主要建立从LR到HR补丁的映射，并在像素级别或通过浅层模型融合HR补丁，这不足以对LR图像和从HR补丁中提取的细节之间的复杂依赖性进行建模。 Yue等人 [39]提出了一种使用参考图像的更为通用的方案，可以立即从网上检索相似的图像，并进行全局注册和本地匹配。但是，他们做出了强有力的假设-参考必须与LR图像良好对齐。此外，用于补丁混合的浅层模型使其性能在很大程度上取决于参考的对齐方式。郑等人 [41]提出了一种基于深度模型的RefSR方法，并采用了光流来对齐输入和参考。但是，光学流在匹配长距离对应关系方面受到限制，因此无法处理明显未对齐的参考。提出的SRNTT采用了可以处理长距离依赖性的局部纹理（补丁）匹配的思想。像现有的RefSR方法一样，我们也将Ref纹理“融合”到最终输出中，但是我们通过深度模型在多尺度特征空间中进行操作，从而可以从具有缩放，旋转甚至是参考的参考中学习复杂的传输过程非刚性变形。

3.方法

    提出的SRNTT方法旨在根据LR对应的$I^{LR}$和给定的参考图像$I^{Ref}$估算SR图像$I^{SR}$，合成以$I^{Ref}$为条件的合理纹理，同时保持与$I^{LR}$内容的一致性。 拟议的SRNTT的概述如图2所示。主要思想是从特征空间中的$I^{Ref}$搜索匹配的纹理，然后以多尺度方式将匹配的纹理转移到$I^{SR}$，因为这些功能对于颜色和照度的变化更为稳健。 多尺度纹理转移同时考虑了$I^{LR}$和$I^{Ref}$之间的语义（较高级别）和文本（较低级别）相似性，从而在抑制无关纹理的同时转移了相关纹理。

    除了像大多数现有SR方法一样使输出$I^{SR}$与原始HR图像$I^{HR}$之间的像素和/或感知距离最小之外，我们还进一步规范了$I^{SR}$和