GAN Prior Embedded Network for Blind Face Restoration in the Wild 学习

文章

标题： GAN先验嵌入网络用于盲脸恢复
期刊： These CVPR 2021 papers are the Open Access versions, provided by the Computer Vision Foundation.
文章链接： https://openaccess.thecvf.com/content/CVPR2021/html/Yang_GAN_Prior_Embedded_Network_for_Blind_Face_Restoration_in_the_CVPR_2021_paper.html

代码链接： https://github.com/yangxy/GPEN

背景

人脸图像是日常生活中最常见的图像类型之一，然而，人脸图像往往优于低分辨率、噪声、压缩和模糊等诸多因素的影响，或这些因素的综合作用使得图片退化。人脸图像恢复技术是人们一直关注的焦点，其目的为将退化的图像还原为清晰逼真的人脸图像。

主要工作

作者提出了一个GAN先验嵌入网络用于盲脸图片恢复。总结为以下几点：

1. 将GAN先验模型嵌入到了深度神经网络中，并微调模型，以至于更好的恢复盲脸图片。
2. GAN模块的设计能够很好的嵌入到U-shape深度神经网络中。深度学习网络中的深层和浅层特征分别作为GAN的latent code 和 noise输入，从而重建图像的全局结构、局部人脸细节和背景。
3. 作者的方法达到了一个很好的成绩。它能够处理在现实场景中拍摄的严重退化的人脸图像。

所提出的方法

上图为作者的方法，其中a部分为GAN先验网络、b部分为GAN模块细节展示、c部分为所提方法的流程图。
U-Net已成功并广泛应用于许多图像恢复任务，并证明了其在保存图像细节方面的有效性。因此，我们的GPEN总体上遵循Ushaped编码器-解码器架构。因此，GAN先验网络的设计应满足两个要求:1)能够生成HQ人脸图像;2)它可以很容易地嵌入到Ushaped GPEN作为解码器。

方法模块化分析

GAN先验网络

对于GAN先验网络而言，即预训练的意思。
当然在本文中，GAN先验网络需要满足以下几点要求：

1. 能够生成高质量的人脸图像
2. 能够较为容易的嵌入到U-Shaped中作为解码器。

style-GAN

GAN的框架很多，在本文中，作者选用的为style-GAN框架。


上图一为GAN框架，后者则展示了style-GAN框架。
对于style-GAN可以总结为以下几点：

1. 对于Latent code部分增加了一个映射。（可理解为：脸部图片具有一定的规则性，这部分的映射旨在提取到内在关联）
2. GAN中增加了多个noise。（旨在刻画细节）

训练策略

对于这个项目，首先收集一些高质量的人脸图像用于训练ProGAN，随之将训练好点ProGAN嵌入到U-Shaped的深度神经网络中，即文中的GPEN，最后使用一组合成的低质量-高质量图片对网络进行微调。

微调模型

对于模型的微调，作者选用了三个损失函数：对抗损失L_A、 特征匹配损失L_F 以及内容损失L_C。

对抗损失L_A 继承于ProGAN
这里的X和X^~分别代表高质量图片和其退化了的图片。

内容损失L_C 表示生成器的输出，与真实图片之间的L1范数距离。

特征匹配损失L_F 类似于感知顺损失，但是其是基于判别器而言的。

其中T是用于特征提取的中间层总数。Di(X)是在鉴别器D的第i层提取的特征。

所以最终的损失可定义为：

实验

数据集与评估

FFHQ数据集包含70000张分辨率为10242的HQ人脸图像，用于训练我们的GPEN模型。首先用它来训练GAN先验网络，然后从中合成LQ图像来对整个GPEN进行微调。为了评估我们的模型，我们使用CelebAHQ数据集来模拟LQ人脸图像，以定量地比较GPEN与其他最先进的方法。我们还从互联网上收集了1000张真实世界的LQ人脸(将公开)，以定性地评估我们的模型在野外的表现。在定量评价中，使用峰值信噪比(PSNR)， Fréchet初始距离(FID)和学习感知图像补丁相似性(LPIPS)指标。值得一提的是，这些指标只能作为评价的参考，不能真实反映BFR方法的性能，尤其是野外BFR的性能。

一些实验结果