GAN与生成视频:PaddleGAN,videogan,DVD-GAN_video gan

作者：Gausst松鼠会 | 2024-02-20 05:37:39

踩

video gan

目前 BigGAN 或 StyleGAN 等深度生成模型已经能生成极其逼真的图像，而且这种图像还是高分辨率的，种类也非常丰富。然而生成自然连贯的视频仍然是极具挑战的领域，它要求更复杂的数据与更多的计算力。

PaddleGAN开源表情动作迁移算法（一张源图片和一个驱动视频）

在这里插入图片描述

videogan：可视化了前景和背景生成的信息

连接
在 Generator 中具体使用的网络结构如图所示。网络将前景和背景分开生成，随后通过一个Mask 加权将前景和背景结合。下路网络使用2D的 Transpose Conv 来建模背景，上路使用3D的Transpose Conv来建模前景和 Mask，3D卷积能够同时提取时序和空间的信息，其作用相当于ConvLstm网络，但在实现中更加简单。背景图片通过扩张成 3D 和前景信息进行加权得到最终的视频输出.
在这里插入图片描述

DVD-GAN:怪异视频生成器

在这里插入图片描述

$左侧生成器，右侧判别器$

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/118683