Ai绘画工具，Stable Diffusion ControlNet使用攻略_controlnet 模型夸克

作者：知新_RL | 2024-07-29 11:11:31

踩

controlnet 模型夸克

一、什么是ControlNet

ControlNet是一种辅助式的神经网络模型结构，它的主要作用是在Stable Diffusion模型中引入额外的条件控制，以更精细地控制AI绘画的生成过程。

ControlNet通过在Stable Diffusion模型的基础上添加辅助模块，复制出两个相同的部分：一个是“锁定”副本，另一个是“可训练”副本。ControlNet主要在“可训练”副本上施加控制条件，然后将施加控制条件后的结果与原始SD模型的结果相加，以获得最终的输出结果。

二、安装ControlNet插件

1、自动下载

目前ControlNet插件已集成在Stable Diffusion WebUI的扩展内，可以一键自动下载安装。

根据图片红框顺序点击安装即可，Stable Diffusion WebUI -> 扩展 -> 可下载 -> 加载扩展列表 -> sd-webui-controlnet ->安装。（我这里已经安装过了，所以会显示已安装）。

sd-webui-controlnet

安装完成后，重新加载Stable Diffusion WebUI界面：已安装->应用更高并重启即可。

重启Stable Diffusion WebUI

注意：如果遇到报错，或者长时间卡顿在安装状态，可以刷新WebUI界面尝试重新安装。但是，重新安装时可能存在报错，大概意思是提示您已经存在未完成的下载文件，无法继续安装。
此时需要你手动前往Stable Diffusion WebUI的项目目录，手动删除之前未下载完成的已损坏文件，以我的完整路径为例：D:\sd-webui-aki-v4.6.1\tmp\sd-webui-controlnet，删除除该目录内的sd-webui-controlnet文件夹，然后重新来到UI界面点击Install按钮安装。

2、手动安装

如果您无法通过自动安装，也可以选择手动下载安装。（这个主要是针对一些不会科学上网的用户）

国内镜像下载地址：

https://gitcode.net/ranting8323/sd-webui-controlnet

将下载好的文件解压到目录Stable Diffusion主目录的extensions文件夹下即可。我这里的目录是：D:\sd-webui-aki-v4.6.1\extensions

解压完重新启动Stable Diffusion WebUI即可。

在完成上述所有安装步骤后，在Stable Diffusion WebUI的主界面上就可以看到ControlNet的窗口了，界面如下：

至此，安装完成。

三、安装ControlNet模型

如果你使用的是秋叶的整合包，会提供所有的ControlNet常用模型文件，

百度网盘

链接：https://pan.baidu.com/s/1ejV_tgfi3s7FClYNIrm5Xw?pwd=1024 提取码：1024

夸克网盘

链接：https://pan.quark.cn/s/aca68291e67d

下载完成后将文件放在指定目录下面，我这里的存放目录：D:\sd-webui-aki-v4.6.1\extensions\sd-webui-controlnet\models

注意：ControlNet并非只有这些模型，根据不同使用场景，Stable Diffusion会自动下载一些其它模型，这些模型的目录可能位于.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\clip_vision，又或者.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\downloads之类的目录下。如果遇到需要下载的可以单独去下载相关模型存放在对应目录下面即可。

四、ControlNet模型名称含义

在我们下载完成模型之后，模型的名称会比较混乱，让人不易理解，我们以其中一个Canny模型为例，为大家讲解模型名称中各个部分的具体含义。

control _ v11 p _ sd15 _ canny _ fp16.pth

Control
ControlNet的官方模型全部都为Control开头，用与于其它模型区分。
V11
代表着模型的版本为V1.1
P
此处为P代表已可以用于生产环境，可正常使用。
此处为E代表为实验性阶段模型，可能存在BUG。
此处为U代表这是未完成的，半成品，不建议使用。
该部分除了P之外，还有E、U共计三种标识。
SD15
SD15 = Stable Diffusion 1.5
SD15s2 = Stable Diffusion 1.5 With Clip Skip 2
SD21 = Stable Diffusion 2.1
SD21v = Stable Diffusion 2.1v-768
模型适合的SD基础模型版本，除了SD15之外，还有下列内容。
Canny
此为模型所对应的预处理器名称，我们通常以此来判定对应的模型
FP16
此为模型的精度，这里是半精度浮点数，适合GPU性能较低的平台，无此部分的通常为FP32的模型，对GPU性能要求较高。
.PTH
后缀除了.PTH之外，还会有一个与该模型名称完全一致，但后缀为.yaml的配置文件。
如果你的PTH与Yaml文件名称不一致，可手动修改为对应的名称。

五、ControlNet模型概述

我们根据下图的模型分类给大家逐一介绍。

控制类型：是指具体某一类的模型分类，通常该模型下面有至少一个预处理器和对应模型。
预处理器：通常至少有一个预处理器属于某个控制类型。
模型：对应控制类型下的具体ControlNet模型，这里是我们下载模型的调用通道。

AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。