使用Stable Diffusion制作AI数字人视频-【Stable Diffusion 实战教程】_数字人制作 stable diffusion

目录

1. StableDiffusion安装-请访问下面文章

2. StableDiffusion制作过程

3. SadTalker插件介绍

4. 使用StableDiffusion制作数字人视频的实际操作

5. 具体操作看下一篇文章

---

1. StableDiffusion安装-请访问下面文章

5分钟 Stable Diffusion 本地安装-本地部署（秋叶整合包）【Stable Diffusion 实战教程】_stable diffusion 秋叶整合包-CSDN博客

2. StableDiffusion制作过程

使用StableDiffusion制作AI数字人视频主要包括以下几个步骤：

• 安装程序和模型：程序本身安装比较简单，但程序需要的模型搞起来比较复杂。作者单独打包了模型，需要从网盘下载。装完程序后，使用前还要下载模型和依赖包。

• 生成工具的选择：生成工具使用StableDiffusionWebUI，模型选择realisticVisionV20，这个模型生成的图片看起来比较真实。

• 采样器的选择：采样器这里选择DPM++2MSDEKarras，选择别的也没问题，只要生成一张人物照片就可以了。

• 视频合成：这是最关键的一步，这里还是使用StableDiffusionWebUI，不过只是使用其中的一个插件，这个插件的名字就是SadTalker。SadTalker是Github上开源的，主要成员也都是国内的技术大佬。

3. SadTalker插件介绍

SadTalker模型是一个使用图片与音频文件自动合成人物说话动画的开源模型。给模型一张图片以及一段音频文件，模型会根据音频文件把传递的图片进行人脸的相应动作，比如张嘴，眨眼，移动头部等动作。它从音频中生成3DMM的3D运动系数（头部姿势、表情），并隐式调制一种新颖的3D感知面部渲染，用于生成说话的头部运动视频。

4. 使用StableDiffusion制作数字人视频的实际操作

• 照片生成：这里介绍的方法需要使用比较真实的照片，如果太二次元了，视频人脸的效果会比较差。大家可以使用自己真实的照片，也可以使用StableDiffusion生成一张，也可以使用图生图稍微改造下自己的照片，总之要尽量真实一些。

• 视频合成：在SDWebUI中通过扩展插件页面安装SadTalker插件。首先把文件下载到本地或者你的云环境，然后解压文件到stablediffusion webui的扩展目录，并拷贝几个文件到SD模型目录。

5. 具体操作看下一篇文章

使用sad talker制作AI数字人视频-【Stable Diffusion 实战教程】-CSDN博客

·