2.3k Star！腾讯又悄悄地开源了一款音频驱动的真实肖像动画合成框架！_开源 语音驱动的视频生成技术

图像和视频处理技术的发展日新月异，每时每刻都在变化，都在进步，也激发了各大研究人员和AI实验室的创造力和可能性。

而近日发现了一款开源项目: AniPortrait，可以实现肖像到视频的生成。看开源作者标注机构是Tencent，它又一次悄摸摸的开源了一款AI项目。

该项目仅上线不到一周，即揽获了2.3k Star。相当的爆火了。

项目介绍

AniPortrait 是一个由音频驱动的真实肖像动画合成框架，能够生成高质量的面部动画，并提供人脸再现功能。

GitHub：https://github.com/Zejun-Yang/AniPortrait

通过使用多种预训练模型，包括 StableDiffusion V1.5、sd-vae-ft-mse、image_encoder和wav2vec2-base-960h，该项目实现了从音频和参考肖像图像驱动的高质量动画生成。

通过提取音频中的3D中间表现形式并转换为2D面部标志，进而利用扩散模型和运动模块生成逼真且时间上连贯的肖像动画。

重点功能：

• 自我驱动的视频生成

• 面部再现

• 音频驱动的视频生成

使用方法

通过下载官方项目包，并完成python环境和cuda相应版本的安装。

下载好项目依赖的预训练模型，然后根据自己的需求输入相关指令生成。具体可查看项目文档。

应用场景

AniPortrait 框架在计算机视觉、模式识别、图形学以及图像和视频处理等多个学科领域具有广泛的应用前景。

其优越的面部动画生成能力可在影视制作、虚拟人物设计、面部运动编辑等领域发挥重要作用。

总结

AniPortrait 的推出为音频驱动的真实肖像动画合成领域注入了新的活力，展现了出色的技术实力和创新能力。

其强大的功能和广泛的应用前景使其成为当前数字图像处理领域的一项重要工具。