[CVPR2021] GFP-GAN: Towards Real-World Blind Face Restoration with Generative Facial Prior_gpfgan

目录

1. 贡献

2. GFPGAN

2.1 概述

2.2 退化去除模块

2.3 生成面部先验和潜在编码映射

2.4 CS-SFT

2.5 目标函数

2.5.1 全局重建损失​编辑

2.5.2 恢复对抗损失

2.5.3 面部成分损失

2.5.4 身份保持损失

3.实验

3.1 数据集

3.2 SOTA

3.3 CelebA-Test同分辨率重建

3.4 泛化能力测试

3.5 消融研究

3.6 不足

---

1. 贡献

（1）用多样的人脸先验进行盲重建，先验包含面部纹理和颜色信息，进行面部修复和色彩增强。

（2）带有多通道分割的空间特征变换（CS-SFT）层的GPF-GAN一次前向传播中实现保真度和纹理的较好平衡。

（3）合成和现实数据集上SOTA。

2. GFPGAN

2.1 概述

由退化去除模块（U-Net）和预训练的人脸GAN（如StyleGAN2）组成。

通过潜在编码桥接映射和CS-FET层。

退化去除模块提取：

F_latent潜在特征

F_spatial多分辨空间特征用于空间调制StyleGAN2人脸特征

F_GAN由StyleGAN生成的中间图像卷积特征

损失

全局重建损失

恢复对抗损失

面部成分损失

身份保持损失

2.2 退化去除模块

U-Net结构：增大模糊感受野，生成多分辨率特征

中间监督 -> 训练初期每个分辨率尺度L1重建损失

2.3 生成面部先验和潜在编码映射

中间潜在代码W保留语义特征

生成最相近脸部中间卷积特征F_GAN，包含更多细节

2.4 CS-SFT

F_spatial调制F_GAN特征

采用CS-SFT平衡真实性和保真度，需要更少的调制通道，降低复杂度

2.5 目标函数

2.5.1 全局重建损失

Φ 预训练的 VGG-19 ⽹络

λ_l1：L1损失

λ_per：感知损失

2.5.2 恢复对抗损失

在图像流形⽣成逼真纹理

与StyleGAN2相同的逻辑损失

2.5.3 面部成分损失

对 ROI 对⻬裁剪。

训练单独的⼩型局部鉴别器来区分恢复补丁是否真实。

特征样式损失尝试匹配真实和恢复补丁的Gram矩阵统计,有效地捕获纹理信息,减少伪影。

⾯部成分损失定义如下，第⼀项是判别损失，第⼆项是特征⻛格损失：

ψ表⽰来⾃学习鉴别器的多分辨率特征。

2.5.4 身份保持损失

采⽤预训练的⼈脸识别 ArcFace 模型。

η代表⼈脸特征提取器ArcFace。

总LOSS

3.实验

3.1 数据集

训练集：FFHQ，7000张512*512

退化模型

⾼质量图像y⾸与⾼斯模糊核kσ进⾏卷积，σ∈{0.2:10}

使⽤⽐例因⼦ r 进⾏ 下采样操作，r∈{1:8}

将加性⾼斯⽩噪声nδ添加到图像中，δ∈{0:15}

通过品质因 数为q 的 JPEG 进⾏压缩，q∈{60:100}

训练期间添加颜⾊抖动以增强颜⾊。

测试集：CelebA-Test，WebPhoto

3.2 SOTA

定量结果

⾮参考感知指标：FID，NIQE

逐像素指标：PSNR，SSIM，LPIPS，GT

两种设置下比较：

1）盲脸恢复，输⼊和输出具有相同的分辨率

2）4×⼈脸超分辨率

3.3 CelebA-Test同分辨率重建

CelebA-Test 4×

定性结果

恢复了眼睛（瞳孔和睫⽑）、⽛⻮等细节。

产⽣⾃然闭合的嘴，⽆需像 ESRGAN 那样强制添加⽛⻮。

恢复合理的眼睛注视⽅向。

3.4 泛化能力测试

实际图像 LFW、CelebChild 和 WedPhoto

定量比较

定性比较

利⽤强⼤的⽣成先验联合对真实照⽚进⾏⼈脸修复和颜⾊增强。在复杂的现实世界退化中产⽣合理且真实的⾯孔。

3.5 消融研究

⾦字塔恢复损失⽤于退化去除模块，增强了对复杂退化的恢复能⼒。

采用基于额外特征样式损失的Gram统计，具有特征风格损失的鉴别器可以更好地捕获眼睛分布并恢复合理的细节。

3.6 不足

训练偏差，在⼤多数深⾊⽪肤的⾯孔和各种⼈群上表现良好。因为输入不包含足够的颜色信息，需要一个多样化且平衡的数据集。

当退化时真实图像严重，恢复的面部细节存在伪影扭曲。非常大角度的姿势会产生不自然的结果。因为合成降解和训练数据分布与现实世界中的不同，改进的方法是学习真实数据。