你好赵伟

这个屌丝很懒，什么也没留下！

热门标签

AI绘画SD-WebUI-SadTalker：让照片说话，数字人使用方法

作者：你好赵伟 | 2024-07-07 01:13:11

踩

sadtalk

大家好，我是画画的小强

今天给大家推荐一款AI绘画Stable DIffusion的神级插件——SadTalk数字人插件。

看演示效果很不错，完胜之前的DreamTalk、Wav2Lip、SadTalker 等竞品。

在这里插入图片描述

结果今天一看github，嘎了使用不了。开源了个寂寞，真让人emo了。

回想了一下其实我的SD-WebUI 也可以实现照片说话，也就是SadTalker。看了一下有新的版本，不需要之前那么多模型了。那么让我们看看如何在SD-WebUI 中安装使用 SadTalker 吧。

什么是SadTalker：

SadTalker 是西安交通大学开源的一个基于Stable Diffusion的插件，它能够通过输入图片和音频文件生成会说话或唱歌的数字人视频。

项目地址：https://github.com/OpenTalker/SadTalker
如插件无法下载，请看文末扫描获取

在这里插入图片描述

使用SadTalker，我们需要准备以下硬件条件：

一台配备GPU的电脑主机：NVIDIA GeForce RTX 3060显卡（推荐12GB显存以上）、Intel i5 CPU（推荐 i5以上CPU）。
Stable Diffusion：这是SadTalker运行的基础平台，推荐使用秋叶的绘世一键包。
安装ffmpeg软件：这是一个用于处理视频和音频文件的工具。安装后，需要在系统的环境变量Path中添加ffmpeg的bin路径。（资源可以在文末自取）

如何安装使用：

1. SadTalker插件安装：

首先，我们运行“A绘世启动器.exe”

在这里插入图片描述

在左边的“版本管理” 中找到“安装新扩展” 搜索 “SadTalker” 下载安装。

在这里插入图片描述

稍等片刻，弹出安装成功。

到此处，SadTalker插件本体已经安装成功了。

2. 模型安装：

我们来到官方提供的链接中下载模型

在这里插入图片描述

将上面4个模型文件下载到checkpoints文件夹下，需要自己创建一个checkpoints文件夹。

再将下载的gfpgan 文件放到SadTalker 目录下。

在这里插入图片描述

到此处，我们的模型安装完毕啦。（模型资源可以在文末自取）

3. 安装ffmpeg：

下载ffmpeg软件包，将其解压到C盘。

在这里插入图片描述

然后将其完整路径添加到系统环境变量，注意是bin目录。

在这里插入图片描述

然后我们可以“win+r” 输出“cmd”

在这里插入图片描述

调出控制台输入“ffmpeg -version” 出现详细信息就表示ffmpeg安装成功。

4. 运行SadTalker：

打开“A绘世启动器.exe” 启动器，一键启动WebUI。

在这里插入图片描述

等待安装完成，会自动运行Web。找到上面的“SadTalker”页签。

在这里插入图片描述

上传一张图片，和音频文件。

在这里插入图片描述

调整参数，点击“生成”。我后台爆显存了，关了面部增强又跑了一遍。

好了，到此我们已经完成了SadTalker在WebUI中的安装和使用，相关资源自动获取，公众号回复SadTalker

总结：

通过上述步骤，我们成功地在SD-WebUI中安装并使用了SadTalker插件。尽管安装过程涉及多个步骤，但只要按照指导仔细操作，即使是没有太多技术背景的用户也能够顺利完成。SadTalker的实用性在于它能够将静态图片与音频结合，创造出仿佛人物在说话或唱歌的动态视频，这在娱乐、教育甚至广告领域都有广泛的应用前景。

然而，与新兴的AI框架EMO相比，SadTalker在某些方面显得稍逊一筹。EMO由阿里巴巴发布，据称其技术能够实现更加自然和真实的动态视频效果，而且操作可能更为简便。EMO的演示效果显示了其在面部表情和口型同步方面的高超技术，这可能会为用户带来更加沉浸式的体验。希望阿里的EMO早日开源吧。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述