GFP-GAN学习笔记_gfpgan

GFP-GAN学习笔记

GFP-GAN利用丰富和多样化的先验封装在预训练的脸GAN盲脸恢复。通过空间特征变换层，将生成式面部先验(GFP)融合到人脸恢复过程中，使人脸恢复过程更容易实现

论文说，之前的研究GAN中，通常产生的图像保真度较低，因为低维潜在码不足以指导准确还原。

论文提出了，以在一次向前传递中实现真实和保真的良好平衡的网络结构，具体地说，GFPGAN包括降解去除模块和作为面部先验的预训练的面部GAN。

整体结构

包括一个降解去除模块(U-Net)和一个预先训练的面部GAN作为面部先验。它们之间通过潜在的代码映射和若干通道分割空间特征变换进行连接(CS-SFT)层。

训练时，使用了，中间修复损失去除复杂退化；利用鉴别器增强面部细节的面部成分丢失；保留身份丢失保留面子的身份

降解去除模块

U-Net结构作为降解去除模块
降级删除模块被设计为显式删除以上降解和提取“干净”的特点和扁平化Fspatial，减轻后续模块的负担。采用U-Net结构作为降解去除模块，因为它可以增加大模糊的接受域，生成多分辨率特征。

为了对去除退化有一个中间监督，在训练的早期阶段在每个分辨率尺度上使用L1 restoration loss 。

生成面部先验和潜在代码映射

不直接生成最终图像，而是生成最接近人脸的中间卷积特征FGAN，因为它包含更多的细节，可以通过输入特征进一步调制，以获得更好的保真度

潜在码W通过预训练GAN中的每个卷积层，生成每个分辨率尺度的GAN特征。

通道分割空间特征变换

在每个分辨率尺度下，我们生成一对仿射变换参数(α;β)通过几个卷积层从输入特征f空间。然后，通过缩放和移位的方式进行调制

为了更好地平衡真实度和保真度，提出了通道分割空间特征变换(CSSFT)层，该层通过输入特征Fspatial(有助于逼真度)对部分GAN特征进行空间调制，而让左侧GAN特征(有助于真实度)直接通过

这使得，CS-SFT具有直接融合先验信息和输入图像有效调制的优点，从而在纹理的忠实度和保真度之间达到很好的平衡。

模型目标和损失函数

reconstruction loss

采用L1 loss 和 perceptual loss 作为 reconstruction loss

Adversarial Loss

Similar to StyleGAN2

Facial Component Loss

为了进一步增强感知显著的人脸成分，我们引入了人脸成分丢失和左眼、右眼和嘴的局部鉴别。

Identity Preserving Loss

根据输入面特征嵌入定义损失。具体来说，采用预先训练的人脸识别ArcFace模型，该模型捕获了身份识别的最显著特征。身份保留损失使得还原结果在紧凑的深特征空间中与地面真值有很小的距离

实验结果

模型参数转换后结果