赞
踩
Stable diffusion30个必备插件推荐,给我点个赞吧,兄弟们
ComfyUI 是一个基于节点操作的UI界面,玩过建模的更容易学
安装后大概是这样的
大概是这么个流程
最好的方面是comfyui保存图像时,自动内嵌该图的所有工作流设置。那就意味着只要你下载足够多的参考图,模仿学习别人的工作流,会学的很快,简单易上手。有点像LR,和br
缺点,全英文界面,复杂的节点化流程,劝退非专业人士
妙寿助理
c站
可以选择主题,能上c站和github
适用于批量化操作,跑图,测试多CN融合
安装方式就是在扩展面板中搜索“Agent Scheduler”,或者是点击“从网址安装”,然后输入以下地址https://github.com/ArtVentureX/sd-webui-agent-scheduler,可以直接安装。如果显存不足,只会停止这个任务,然后继续下一个
可以搞几十张,
给的提示词是这个1 girl, blue eyes, white shirt, black dress,
相对而言,不那么随机
安装方式就是在扩展面板中搜索Aspect Ratio,可以直接安装。或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。
参数
这个有点复杂
后期处理,动画, 通过自动 1111 扩展将时间稳定性添加到稳定扩散渲染的多合一解决方案temporalkit+ebsynth+controlnet 可以达到流畅动画效果
sd-webui-segment-anythinggithub.com/continue-revolution/sd-webui-segment-anything.git
分割任何内容以获得稳定的扩散 WebUI。通过单击或文本提示自动生成图像的高质量分割/遮罩。旨在将WebUI和ControlNet与Segment Anything和GroundingDINO连接起来,以增强稳定扩散/ ControlNet修复(单个图像和批处理),增强ControlNet语义分割,自动化图像垫并创建LoRA / LyCORIS训练集。
24,(必备)
TiledDiffusion with Tiled VAEgithub.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git
无缝的大图像区域生成和升级,以及 vram 高效的平铺 vae 脚本
控制
25,显存预估,这个相对来说比较直观,可以看到自己生成图,所占的显存
选项卡,以递增的维度和批大小运行 txt2img、img2img、高分辨率修复,直到 OOM,并将数据输出到图形。
26(必备),LLuL,本地潜在升频器。通过蒙版的方式,定位区域以有选择地增强细节。
选项卡,动画,使用img2img和ebsynth创建视频的扩展。使用 ebsynth 输出编辑后的视频。与 ControlNet 扩展配合使用。
28,LoRA Block Weight (LoRA 区块权重配置),应用LoRA强度;一个块一个块在飞行中。包括预设、权重分析、随机化、XY 图
模型相关,涉及到lora分层训练
注意有的插件中文直接搜索不到,要翻译成英文,我把所有扩展基本上都看了一遍,采取星级较高的插件,和一些个人认为比较好用的插件,欢迎补充,觉得不错,点个赞吧,写这个好麻烦。详细的操作教程可以自己去找,我这里就不阐述了,已经写的够多了,再写下去没人看。
写这个的目的是,我之前也是小白,发现这个插件装不完,一天一个插件,学的真麻烦,所以就总结一下,新手先把这30个插件装完,把插件学会了,就已经是中级玩家了,再去搞lora和大模型,你就是SD高级玩家。多做出几个大模型和lora你就是大神了。如果自己有单反拍摄素材那就更好了
目前 ControlNet 已经更新到 1.1 版本,相较于 1.0 版本,ControlNet1.1 新增了更多的预处理器和模型,每种模型对应不同的采集方式,再对应不同的应用场景,每种应用场景又有不同的变现空间
我花了一周时间彻底把ControlNet1.1的14种模型研究了一遍,跑了一次全流程,终于将它完整下载好整理成网盘资源。
其总共11 个生产就绪模型、2 个实验模型和 1 个未完成模型,现在就分享给大家,点击下方卡片免费领取。
方法:通过 ControlNet 边缘检测模型或线稿模型提取线稿(可提取参考图片线稿,或者手绘线稿),再根据提示词和风格模型对图像进行着色和风格化。
应用模型:Canny、SoftEdge、Lineart。
Canny 示例:(保留结构,再进行着色和风格化)
方法:通过 ControlNet 的 Scribble 模型提取涂鸦图(可提取参考图涂鸦,或者手绘涂鸦图),再根据提示词和风格模型对图像进行着色和风格化。
应用模型:Scribble。
Scribble 比 Canny、SoftEdge 和 Lineart 的自由发挥度要更高,也可以用于对手绘稿进行着色和风格处理。Scribble 的预处理器有三种模式:Scribble_hed,Scribble_pidinet,Scribble_Xdog,对比如下,可以看到 Scribble_Xdog 的处理细节更为丰富:
Scribble 参考图提取示例(保留大致结构,再进行着色和风格化):
方法:通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状,构建出建筑线框(可提取参考图线条,或者手绘线条),再配合提示词和建筑/室内设计风格模型来生成图像。
应用模型:MLSD。
MLSD 示例:(毛坯变精装)
这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!
方法:通过 ControlNet 的 Segmentation 语义分割模型,标注画面中的不同区块颜色和结构(不同颜色代表不同类型对象),从而控制画面的构图和内容。
应用模型:Seg。
Seg 示例:(提取参考图内容和结构,再进行着色和风格化)
如果还想在车前面加一个人,只需在 Seg 预处理图上对应人物色值,添加人物色块再生成图像即可。
方法:在 img2img 图生图模式中,通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景,再通过提示词更换想要的背景。
应用模型:Depth,预处理器 Depth_leres。
要点:如果想要比较完美的替换背景,可以在图生图的 Inpaint 模式中,对需要保留的图片内容添加蒙版,remove background 值可以设置在 70-80%。
Depth_leres 示例:(将原图背景替换为办公室背景)
方法:通过 ControlNet 的 Pix2Pix 模型(ip2p),可以对图片进行指令式变换。
应用模型:ip2p,预处理器选择 none。
要点:采用指令式提示词(make Y into X),如下图示例中的 make it snow,让非洲草原下雪。
Pix2Pix 示例:(让非洲草原下雪)
方法:通过 ControlNet 的 Shuffle 模型提取出参考图的风格,再配合提示词将风格迁移到生成图上。
应用模型:Shuffle。
Shuffle 示例:(根据魔兽道具风格,重新生成一个宝箱道具)
方法:通过 ControlNet 的 t2iaColor 模型提取出参考图的色彩分布情况,再配合提示词和风格模型将色彩应用到生成图上。
应用模型:Color。
Color 示例:(把参考图色彩分布应用到生成图上)
这份完整版的ControlNet 1.1模型我已经打包好,需要的点击下方插件,即可前往免费领取!
这里就简单说几种应用:
1. 人物和背景分别控制
2. 三维重建
3. 更精准的图片风格化
4. 更精准的图片局部重绘
以上就是本教程的全部内容了,重点介绍了controlnet模型功能实用,当然还有一些小众的模型在本次教程中没有出现,目前controlnet模型确实还挺多的,所以重点放在了官方发布的几个模型上。
同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学,因为自身做副业需要,我这边整理了全套的Stable Diffusion入门知识点资料,大家有需要可以直接点击下边卡片获取,希望能够真正帮助到大家。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。