这个 Stable Diffusion 新模型换脸效果真不错！_controlnet 换脸

ControlNet 是 Stable Diffusion Web UI 中功能最强大的插件。基于 ControlNet 的各种控制类型让 Stable Diffusion 成为 AI 绘图工具中最可控的一种。

IP Adapter 就是其中的一种非常有用的控制类型。它不仅能够实现像 Midjourney 一样的“垫图”功能，还能用来给肖像人物换脸。

IP Adapter 的很多老的模型都可以用来换脸，如 Plus Face。然而，IP Adapter 不断推出了更新的模型，持续为我们带来惊喜。通过我的亲身测试，我发现新的 Face ID Plus V2 模型在换脸效果上远胜以往。

我尝试将好莱坞女星 Angelina Jolie 的脸部特征融合到了由 Midjourney 生成的多个图片中，包括一名中世纪女战士、一幅文艺复兴时期的美女肖像，以及一位女王的形象，效果都非常令人满意。

怎么样？效果还不错吧？接下来我来介绍如何在 Web UI 中安装并使用这个模型。

准备工作

我们主要利用 Control Net 中的 IP Adapter 来进行换脸，同时使用 OpenPose 保持原图人物的头部姿势。

相对于 Control Net 的其他控制类型，IP Adapter 是后来才有的。如果你的 Control Net 版本较旧，可能需要更新以支持 IP Adapter 功能。

我们需要下载以下内容：

• Open Pose 模型

• IP-Adapter FaceID Plus V2 模型和 Lora

其中 IP Adapter 用来换脸，Open Pose 用来保持住原图人物的头部姿势。Lora 可以提升面部 ID 的一致性。

下载模型和Lora

获取 Open Pose 模型

1️⃣ 首先，访问 HuggingFace 网页 (https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main)，定位到 Control Net 模型的下载页面。这里列出了所有 Control Net 的基础模型及其配置文件。

2️⃣ 在页面中向下滚动，搜索包含“Open Pose”关键词的文件。

3️⃣ 你会发现有两种文件类型：以 .pth 结尾的是模型文件，而以 .yaml 结尾的则是模型的配置文件。通常，.yaml 配置文件已经在 Control Net 安装时包含在内，因此我们主要关注的是下载 .pth 结尾的模型文件。

4️⃣ 点击下载按钮开始下载所需的 .pth 文件。

5️⃣ 下载完成以后，放在 stable-diffusion-webui\extensions\sd-webui-controlnet\models文件夹。

下载 IP Adapter 需要的 Face ID 模型和 Lora

1️⃣ 继续访问另一个HuggingFace 下载页面 (https://huggingface.co/h94/IP-Adapter-FaceID/tree/main)，寻找 IP Adapter Face ID Plus sd15 和 sd15 lora 文件。这些文件专为 sd 1.5 的模型设计，提供了良好的性能和对 Control Net 其他控制类型的支持。

2️⃣点击下载按钮，开始下载这些文件。注意，sd15 代表这些文件适用于 sd 1.5 版本的模型，而不是 sdxl 版本。

3️⃣Lora 文件特别用于提升面部 ID 的一致性，对于提高换脸效果的自然度非常关键。

4️⃣下载完成以后，以.bin结尾的模型文件放在 stable-diffusion-webui\extensions\sd-webui-controlnet\models文件夹。

5️⃣ 以.safetensors结尾的Lora文件放在 stable-diffusion-webui\models\Lora文件夹。