基于人脸先验的人脸超分FSRNet

论文：FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors

Github：https://github.com/tyshiwo/FSRNet

https://github.com/cs-giung/FSRNet-pytorch

 

CVPR2018

人脸超分是超分领域的一个子集。论文使用人脸关键点facial landmark heatmaps 和人脸解析分割图parsing maps 做约束，提出了适用于人脸的超分网络结构，Face SuperResolution Network (FSRNet) 。在Titan X GPU 上128*128的输入，仅需0.012s 。

主要贡献：

1. 首次使用人脸几何先验来优化人脸超分问题，并且实现了方便的端到端的训练模式。
2. 2种人脸几何先验信息被提出，人脸关键点facial landmark heatmaps 和人脸解析分割图parsing maps。
3. FSRNet取得了state-of-the-art 的效果，同时支持人脸非对齐情况，低分辨率情况（16*16），基于GAN方式训练的FSRGAN 取得了比FSRNet更生动的超分效果。
4. 除去超分的2个评价标准，峰值信噪比Peak Signal-to-Noise Ratio (PSNR) ，结构化相似性Structural SIMilarity (SSIM) ，论文提出了使用人脸对齐和人脸解析，作为超分的一种新颖的评价方式。解决了传统视觉评价标准的非连续性问题。

 

网络结构：

FSRNet由coarse SR network, fine SR encoder, prior estimation network , fine SR decoder 共4个模块组成。

网络输入分辨率为128*128*3，输出也是128*128*3。coarse SR network不改变输出大小。fine SR encoder对网络进行了下采样，将输入从128*128*3变化为64*64。prior estimation network对网络进行了下采样，将输入从128*128*3变化为64*64*11。fine SR decoder使用反卷积对网络进行了上采样操作，最终输出变化为128*128*3。

coarse SR network负责将低分辨率的输入图片转化为一个相对高清的图片。这么做是因为，低分辨率的图片不适合提取人脸关键点和人脸解析图。

The motivation is that it is non-trivial to estimate facial landmark positions and parsing maps directly from a LR input image.

C 表示将低分辨率转化为高分辨率的方法。

x表示输入的低分辨率图片

yc表示输出的相对粗糙的高分辨率图片。

然后相对粗糙的高分辨率图片yc分别输入更精细的超分编码单元F（fine SR encoder）,先验提取单元P（prior estimation network）

之所以要使用人脸先验信息，是因为，

1. 当图片分辨率从高降为低的过程中，形状信息相比纹理信息可以更好的保留。因此，形状信息可以被提取出来辅助超分优化。
2. 形状先验信息相比纹理先验信息更容易提取学习。

prior estimation network采用沙漏类型HourGlass (HG) 的网络结构。

最终，超分编码特征f和先验特征p会被输入精细的超分解码单元，得到最终解码输出y。

 

FSRGAN的判别器的输入为低分辨率图片和恢复后的高分辨率图片的结合，或者是，低分辨率图片和真实高分辨率图片的结合。然后对网络进行下采样操作，最终输出是真还是假。

 

Loss函数：

训练集合可以定义为，

x:输入的低清的图片

y:低清图片对应的高清图片label

p:人脸的关键点和解析图label

N:一共的训练样本数目

最终FSRNet的loss就是，coarse SR network,  prior estimation network , fine SR decoder这3个模块的loss。

 

FSRGAN在FSRNet的基础上，增加了GAN的判别loss，感知loss，

判别loss，

感知loss，使用vgg16的relu5_3 层提取，

最终，FSGAN的loss，

 

人脸先验：

人脸先验信息中的，人脸解析图和人脸关键点都会对人脸超分有大的促进作用。其中，关键点可以使得PSNR提升0.4dB，解析图可以提升1.0dB，两者一起用可以提升1.05dB。

结论，

1. 人脸解析图比人脸关键点对超分产生更大的提升。
2. 全局解析图比局部解析图更有用。
3. 相比49个人脸关键点，增加更多的关键点不会对结果有更大的提升。

 

实验结果：

 

总结：

FSRGAN虽然得分比FSRNet低点，但是视觉效果FSRGAN更好。