一步一步学习 Stable Diffusion_sd-webui-segment-anything

0. 背景

网上看了很多 Stable Diffusion 的视频，还有一些网站的资料之后，决定自己整理一份一步一步学习 Stable Diffusion 的学习资料。

1. 安装

请参照 Windows 11 本地部署 Stable Diffusion web UI 或者 Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT 进行部署。

2. 汉化

访问 Extensions => Available 标签，去掉 localization 勾选，然后单击 “Load from”，

在 Search 处输入 zh，然后单击 Install 安装 “zh_CN Localization localization”，

单击 Installed 标签，然后单击 “Apply and restart UI” 重新启动 UI。

单击 Settings => User interface，将 Localization 设置为 zh_CN，然后单击 “Apply settings”，在然后单击 “Reload UI”，

这样，Stable Diffusion 的环境就变成中文了。

3. 安装 sd-webui-controlnet 插件

单击扩展=>从网址安装，输入以下内容，然后单击安装，

• 扩展的 git 仓库网址：https://github.com/Mikubill/sd-webui-controlnet

然后单击已安装，单击应用并重启用户界面，

访问 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 下载模型文件，只需要下载扩展名是 .pth 的文件，总共 14 个文件，大概 20GB。

然后将下载的文件保存到 stable-diffusion-webui\extensions\sd-webui-controlnet\models 目录下，

额外配置，

4. 安装 sd-webui-segment-anything 插件

单击扩展=>从网址安装，输入以下内容，然后单击安装，

• 扩展的 git 仓库网址：https://github.com/continue-revolution/sd-webui-segment-anything

然后单击已安装，单击应用并重启用户界面，

下载模型文件 https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth，保存到 stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam 目录下，

5. 安装 ultimate-upscale 插件

单击扩展=>从网址安装，输入以下内容，然后单击安装，

• 扩展的 git 仓库网址：https://github.com/Coyote-A/ultimate-upscale-for-automatic1111

然后单击已安装，单击应用并重启用户界面，

下载模型文件 https://huggingface.co/lokCX/4x-Ultrasharp/resolve/main/4x-UltraSharp.pth，保存到 stable-diffusion-webui\models\ESRGAN 目录下，

6. 安装 SadTalker 插件

单击扩展=>从网址安装，输入以下内容，然后单击安装，

• 扩展的 git 仓库网址：https://github.com/OpenTalker/SadTalker

然后单击已安装，单击应用并重启用户界面，

下载模型文件 https://github.com/OpenTalker/SadTalker/releases，保存到 stable-diffusion-webui\extensions/SadTalker/checkpoints 目录下，解压 BFM_Fitting.zip 和 hub.zip 到当前文件夹，

7. 下载和配置 VAE 模型

下载下面几个 VAE 模型，

• Anything-V3.0.vae.safetensors
• vae-ft-ema-560000-ema-pruned.safetensors
• vae-ft-mse-840000-ema-pruned.safetensors

保存到 stable-diffusion-webui\models\VAE 目录下，

访问设置=>“Stable Diffusion”，启用模型的 VAE。

8. 使用 ChilloutMix 模型

下载 (ChilloutMix](https://civitai.com/models/6424/chilloutmix) 模型，保存到 stable-diffusion-webui\models\Stable-diffusion 目录下。

下载 LoRA 微调模型，先下载这 2 个体验一下，保存到 stable-diffusion-webui\models\Lora 目录下。

99. 未完待续

未完待续！