Stable Diffusion基础：ControlNet之身份标识

本文给大家分享一个新的ControlNet类型：Instant ID，翻译为身份标识，核心能力是由国内的小红书团队开发的。这个ControlNet可以提取人的面部信息，然后在生成的人物图片中使用此面部。实测效果完全可以代替Lora模型，也就是我们不用再费劲吧啦的训练人物形象Lora了，只需要人物的一张正面照片，就可以直接出图了。

效果演示

下图是官方的演示效果，左边是使用 Instant ID 生成的图片，右边是参考图片。

这个 ControlNet 相比 Roop 等换脸模型，也有更好的效果。

原理

先看左侧上部：Instant ID 通过 IP-Adapter 技术提取参考图片中的面部特征信息，然后通过交叉注意力（Cross Atttention）将面部特征信息传递给 UNet，用于在反向扩散过程中影响人脸的生成。

再看左侧下部：这是 Instant ID 在描述自己的模型训练过程，它会使用大量的人脸特征进行训练，最终训练好的模型会应用到图片生成中。

最后看右侧：通常情况下，提供给 UNet 的交叉注意力来源是文本提示词，但是文本很难精确的表达一个人的面部特征，所以才搞出来 Instant ID的方案。

使用方法

有多种使用方法，这里介绍两种：

• 独立使用

HuggingFace上有示例代码：https://huggingface.co/InstantX/InstantID

你也可以直接在线体验：https://huggingface.co/spaces/InstantX/InstantID ，使用方法如下图所示：

不过这个在线体验有额度限制，如果触发额度限制，可以换个本地的外网IP再试下。

• 在 Stable Diffusion WebUI 中使用

在 WebUI 中可以方便的集成更多能力，不过安装起来有些麻烦，感兴趣的同学可以继续阅读本文后续部分。

WebUI中安装Instant ID

使用AutoDL镜像

我已经在 AutoDL 的镜像中添加了这个 ControlNet，创建 WebUI 实例的时候选择下边这个镜像就行了。

AutoDL访问地址：https://www.autodl.com/

手动安装

升级ControlNet到最新版本

Stable Diffusion WebUI 的 ControlNet 插件地址：https://github.com/Mikubill/sd-webui-controlnet，下载最新版本，然后更新到 WebUI 的插件目录 extensions 中。

安装成功后，重启 WebUI，在 ControlNet 单元的 Control Type 中就可以看到这个新类型了，Instant ID自带两个预处理器，不过模型还需要自行下载安装。如下图所示：

安装模型

首先需要下载两个 ControlNet 模型，然后把这两个模型放到 ControlNet 的模型目录，默认是：stable-diffusion-webui/extensions/sd-webui-controlnet/models。

WebUI中使用Instant ID

Instant ID 目前只支持SDXL，所以大模型必须选择XL模型，提示词和反向提示词简单写写就行了。

根据Github上的讨论，宽度和高度不要使用1024，否则会出现难以消除的水印文字。

有用户提出采样步数不要设置的太高，如果出图效果不好，可以调低点试试。

提示词引导系数要设置的小一点，这个没有固定值，可能不同模型的选择不一样，建议3-5吧。

InstantID 需要使用两个ControlNet单元，第一个单元用于提取面部特征，需要上传一张人脸参考图，预处理选择 instant_id_face_embedding，模型选择 ip-adpater_instant_id-sdxl。

第2个ControlNet单元，还是Instant ID类型的，用于提取脸部姿态，可以上传一张不同的人脸照片，生成的图片会参考这张图片中人脸的位置，但是不会复刻人物的姿势，这和InstantX的演示有差距。这里我们使用同一张图，预处理器选择 instant_id_face_keypoints， 模型选择 control_instant_id_sdxl。注意控制模式选择“以ControlNet为主”，否则生成的图片笔触会比较粗。

我们还可以选择不同的风格模版，这里选择一个线稿风格，最终生成效果如下图所示：

资源下载

因技术迭代更新较快，本文提到的方法可能会过期失效，不过我会定期检查更新文章，因文章在多平台发布，可能出现更新延迟的情况，如需最新版本请看文末扫码获取。
文章使用的大模型、Lora模型、SD插件、示例图片等，都已经上传到我整理的 Stable Diffusion 绘画资源中。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除