基于VideoReTalking+GFPGAN的AI数字人_video-retalking

VideoReTalking 是一个新颖的系统，用于根据输入音频编辑真实世界中的说话头部视频，生成具有不同情感的高质量和唇部同步的输出视频。

该系统将此目标分解为三个顺序任务：

1. 具有规范表情的人脸视频生成；
2. 音频驱动的唇部同步；
3. 用于提高照片真实感的人脸增强。

基本原理

1. 人脸视频生成：使用表情编辑网络修改每一帧的表情，使其与相同的表情模板相匹配，从而生成具有规范表情的视频。
2. 音频驱动的唇部同步：将该视频与给定的音频一起输入唇部同步网络，生成唇部同步视频。
3. 人脸增强：通过身份感知的人脸增强网络和后处理来提高合成人脸的照片真实感。

所有这些步骤都使用基于ML和DL学习的方法，并且可以在没有任何用户干预的情况下按顺序进行。

准备工作

从github上下载源码，下载完毕之后下载模型 pre-trained models。

模型分这么多种类，将全部模型复制到 checkpoints 中。

创建虚拟环境

切记这个里面有编译的环境在里面，不要移动创建好的虚拟环境，除非你能自己修改源码修改对应的路径文件。

conda create -n VideoReTalking python=3.8
1

激活虚拟环境

在GIT环境目录下激活，这里是我的路径，修改成你自己的。

conda activate VideoReTalking 
1

pip安装匹配版本

确保安装了所有必要的依赖项，可以通过requirements.txt文件进行安装。

这里会有个问题要根据显卡选择torch版本，我的显卡是RTX4090，我选择这个安装命令。

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

pip install -r requirements.txt
1
2
3

其他显卡根据情况自行安装。

pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html

pip install -r requirements.txt
1
2
3

模型预测对口型

必要的数据准备

事先还要准备好素材视频和音频文件，这里分别放置原始的图片，音频以及视频文件。

其中音频和视频文件放在项目目录下的./examples/audio和 ./examples/face中即可。

命令行预测

使用预训练模型进行快速推理，可以测试任何说话的人脸视频，无需手动对齐。

\VideoReTalking\python.exe inference.py --face examples/face/1.mp4 --audio examples/audio/1.wav --outfile results/1_1.mp4

python inference.py --face examples/face/1.mp4 --audio examples/audio/1.wav --outfile results/1_1.mp4
1
2
3

推理总共分6步，依次执行后会在result文件夹下生成对应的视频文件。

参数解释

基础参数设置base_options.py

推理工具参数设置inference_utils.py

模型训练参数设置train_options.py，训练模型根据实际情况调整。

脸部对焦参数配置facerecon_model.py，这些参数默认即可。

其他使用方法

表情控制参数操作，可以通过添加以下参数来控制表情：

WebUI预测

项目中自带WebUI启动文件，是基于gradio开发的页面。

由于代码中素材文件是写死的如果想更换素材并且在页面中显示必须进行一些修改。

添加音频和视频文件的路径目录。

audio_list = os.listdir("./examples/audio")
video_list = os.listdir("./examples/face")
1
2

添加路径并遍历文件到对应的文件位置。

            with gradio.Row():
                gradio.Examples(
                    label="Face Examples",
                    examples=[
                        os.path.join(os.path.dirname(__file__), "examples/face/" + str(i)) for i in video_list
                    ],
                    inputs=[v],
                    fn=convert,
                )
            with gradio.Row():
                gradio.Examples(
                    label="Audio Examples",
                    examples=[
                        os.path.join(os.path.dirname(__file__), "examples/audio/" + str(i)) for i in audio_list
                    ],
                    inputs=[a],
                    fn=convert,
                )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

然后启动webUI.py文件，然后在浏览器中就可以看到自己添加好的对应文件啦。

最终出来的结果是这样的，视频效果呢个人感觉比wav2lip强一些，如果视频分辨率不大的话无所谓，如果原始分辨率大的话需要进行超分操作。

来看一下和wav2lip的对比吧。虽然处理效率慢了一点淡出出来的效果更佳清楚。