当前位置:   article > 正文

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装_sd contronet模型

sd contronet模型

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion

今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。

首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。

一、ControlNet1.1 的新模型新功能

1、新增Lineart模型 和 lineart_anime模型

现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。

在这里插入图片描述

在这里插入图片描述

2、新增Instruct Pix2Pix 模型

模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。

将白天变为夜晚 ,如图:

在这里插入图片描述

换发型 ,如图:

在这里插入图片描述

换装 ,如图:

在这里插入图片描述

3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的

在这里插入图片描述

图像修复前:

在这里插入图片描述

图像修复后:

在这里插入图片描述

细节调整前:

在这里插入图片描述

细节调整后:

在这里插入图片描述

4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。

我们先来看一下人物图处理效果:

在这里插入图片描述

在这里插入图片描述

从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。

再来看一下风景类图处理效果:

在这里插入图片描述

在这里插入图片描述

从成图来看,主要的配色、风格还是参考了原图的样式,构图结构上也有部分的参考。

新增的功能和模型效果介绍就到这里了,接下来介绍一下,如何安装和使用ControlNet1.1。

之前,我们一直在用的是Control插件,其实只需要将插件升级到新版本以后,就可以用新版本的模型了。所以我们只需更新插件,然后下载新的模型放进去就好。

二、安装ControlNet1.1

本次升级和安装的内容主要有2点:

  • 升级 ControlNet插件版本

  • 安装各种预处理器的模型

如果你还没有安装 Stable Diffusion 整合包,可以阅读 Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明 这篇文章,了解安装 Stable Diffusion 整合包需要的电脑配置以及下载相关的安装包。

首先需要准备好ControlNet 1.1 安装文件,文件集成在整合包sd-webui-aki-v4.2 版本 里,没有下载的朋友,可以去自行下载。

1、升级 ControlNet插件版本

第一步, 进入整合包目录:sd-webui-aki-v4, 直接双击 A启动器.exe 运行

启动后如下 :

在这里插入图片描述

第二步,点击左侧版本管理

在这里插入图片描述

第三步,切换到扩展标签页 ,点击右上角“一键更新”按钮即可。

在这里插入图片描述

2、安装各种预处理器的模型 (可选)

第一步,将预处理器模型文件夹里的 download 文件夹,整个复制放到插件目录底下的annotator文件夹里面。

\controlnet1.1\预处理器\download

  • 1
  • 2
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator

  • 1
  • 2

如图:

在这里插入图片描述

第二步,将controlnet1.1 模型放到sd-webui-controlnet\model 文件夹就可以了

\controlnet1.1\模型

  • 1
  • 2
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models

  • 1
  • 2

在这里插入图片描述

完成以上操作后,关闭启动器、控制台、webui,然后重新启动就可生效。

如图:

在这里插入图片描述

三、ControlNet1.1 使用体验及相对于老板本的一些变化

1、颜色反转模式变为了一个单独的预处理器

在这里插入图片描述

2、新增加完美像素模式

选择以后能解决 ControlNet 处理的一些分辨率问题。

在这里插入图片描述

3、新增控制模式

新增控制模式:

  • 均衡
  • 更偏向提示词
  • 更偏向ControlNet

选择更偏向ControlNet时,需要降低CFG。

在这里插入图片描述

4、老板本的HED变为了SoftEdge

在这里插入图片描述

5、 增加了几个预处理器

OpenPose预处理器-> OpenPose模型
Openpose_full,一个模型姿态手部脸部全部搞定

在这里插入图片描述

6、老板本的 Depth模型 -> 新版本推荐 Leres++、Zoe预处理器

在这里插入图片描述
好了,今天的分享就到这里,ControlNet1.1 更多功能和变化这里就不再详细说明了,感兴趣的朋友可以自行研究。下一篇,将给大家带来,sd 各个功能模块的详细使用方法,敬请期待。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/440977

推荐阅读
相关标签