One-shot Face Reenactment（BMVC19）_one-shot face re-enactment using hybrid latent spa

作者：AllinToyou | 2024-02-20 05:20:49

踩

one-shot face re-enactment using hybrid latent spaces of stylegan2

3 Approach

给定source face $x_s$ ，包含了pose guidance，以及target face $x_t$ ，包含了reference appearance，学习的目标是生成一幅图像包含 $x_s$ 的pose/expression，以及 $x_t$ 的identity

3.1 Disentangle-and-Compose Framework

在这里插入图片描述
Shape Encoder $E$
Shape Encoder $E$ 的网络结构和文献[34, 35]中的boundary encoder一模一样，将人脸图像编码为一个15通道的heatmap，分别对应人脸不同的部分，然后涂上不同的颜色，得到face parsing maps

此外，增加额外的2个gaze channels，

Shape Encoder $E$ 在WFLW数据库上进行预训练，gaze channels在EOTT数据库上进行预训练，预训练完成后，整个Shape Encoder $E$ 被frozen

Appearance Auto-Encoder $F$
Appearance Auto-Encoder $F$ 包含Encoder部分以及Decoder部分

$F$ 需要学习人脸图像中的identity information和local facial details

$F$ 的Decoder负责重构人脸图像，为了保证生成图像中的identity，将Decoder过程中的feature maps拼接到Semantically Adaptive Decoder $D$ 中（Figure 3中的橘黄色箭头）

为了保证 $F$ 不受shape的影响，……

Semantically Adaptive Decoder $D$
原本可以采用U-Net的结构，现在使用了multi-scales SPADE blocks，就可以去掉U-Net的Encoder部分

3.2 FusionNet

目前为止的模型在生成facial details（如胡子、皱纹）仍然存在问题，而warping-based methods生成facial details的效果比较好，因此提出一个FusionNet结构，如Figure 4所示，接收生成图像以及warping的结果，生成一个mask用于融合两幅图像
在这里插入图片描述

3.3 Learning

\begin{aligned} L_{t o t a l} & = L_{r e e n a c t} + λ L_{a p p_{r} e c o n s} \\ L_{r e e n a c t} & = α_{r} L_{p e r c e p t u a l} + α_{g} L_{G A N} + α_{i} L_{i d} (1) \end{aligned}

$\begin{aligned} L_{total}&=L_{reenact}+\lambda L_{app_recons} \\ L_{reenact}&=\alpha_rL_{perceptual}+\alpha_gL_{GAN}+\alpha_iL_{id} \qquad(1) \end{aligned}$

L_{t o t a l} L_{r e e n a c t} = L_{r e e n a c t} + λ L_{a p p_{r} e c o n s} = α_{r} L_{p e r c e p t u a l} + α_{g} L_{G A N} + α_{i} L_{i d} (1)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/118616