赞
踩
这几天粘土风格的AI图片、AI视频火了起来,虽然看起来有点丑,不过也丑的可爱,丑的很有味道,大家都很喜欢。看看这两张照片,你能猜出来他们是谁吗?
这篇文章就来分享下粘土风格照片的生成方法,生成工具采用的是当前最红最强的ComfyUI。同时这个工具可以在京东云免费使用,一键启动,不需要复杂的安装部署。
有些同学可能还不了解 ComfyUI,我这里做个简单的介绍:
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。
有的同学可能之前也接触过 ComfyUI,感觉安装太复杂,操作太麻烦,担心自己搞不定。为此,我专门制作了一个 ComfyUI 的镜像,不用各种安装调试,只需要动动手指,一键启动,就可以拥有一个和我使用的完全一样的 ComfyUI 应用,因为坑我已经都填上了。镜像使用方法请继续阅读下文。
有的同学可能 ComfyUI 玩的已经很溜了,只想要工作流和相关的模型,这些同学请移步文末,获取相关资源。
文末有详细教程,免费分享!
你可以单独下载这个工作流,下载方式见文末。
镜像使用方式如下图所示:
不过你看到的可能是英文,这个镜像已经内置了中文翻译,不过还需要大家点下按钮才能切换,操作如下图所示:
然后我们在工作流的最上方,可以找到一个“加载图像”的节点,选择一张你想要重绘的人物图片:
最后,点击菜单栏中的“添加提示词队列”,静待大约50秒钟,一张粘土风格的图片就新鲜出炉了!
以上都是简单的操作,不需要学习也不需要懂任何技术,大家比着操作就行了,是不是很简单!
授人以鱼,不如授之以渔。想进一步提升自己 ComfyUI 应用能力的同学可以看看我的解读,多学点工作流节点知识,慢慢应用到自己的工作流中,创作出自己独特的作品。
这个工作流主要分成以下几个部分:
这里要加载三种模型:
1、首先是SD基础模型,这里我使用的是SDXL 1.0基础模型,模型能力绝对够用了。
2、然后要加载LoRA模型,LoRA 模型一般是用来生成特定风格的,这里用了两个,都是用来控制粘土风格的。下载方式见文末。
3、然后还要加载一个 IPAdapter 模型,它用来在生成图片时参考某张图片中的内容,我们用在这里就是要保持人物的基本形象不变。这里使用的是增强的 IPAdapter 模型,效果目前最好。
最后要把这几个模型做一个合成。
合成的时候 IPAdapter 需要把人物原图引入进来,这里先对原图做了一个缩放,宽度调整到1024(因为SDXL仅在1024以上表现良好)、高度自适应,然后把缩放后的图片送入 IPAdapter 进行处理。
最后合成的模型就是混合了SD基础模型、LoRA模型和提取了人物形象的 IPAdapter 模型。
为了更好的生成效果,我们还要使用提示词进行引导。
这里的提示词包括三个部分:
1、粘土风基础提示词:这些提示词适配所有的粘土风格图片生成,也就是粘土风的通用提示词。
2、从图片反推提示词:每张参考图片都有不一样的地方,需要在提示词中描述出来。使用这个反推提示词的节点,我们就可以避免自己手动输入的烦恼。
3、反向提示词:这是一些通用的反向提示词,避免一些常见生成缺陷。
ControlNet 是用来进一步控制图片结构的。因为我们只是转换图片的风格,图片的构图都要精准还原,所以这里使用了一个 Canny 控制网,它可以使用参考图片的线稿来控制新生成图片中的元素结构。
一个完整的 ControlNet 需要3个节点:
不同的ControlNet模型需要搭配对应的预处理器器,才能正常发挥作用。
采样器是使用扩散模型生成图片的核心组件,相关节点如下图所示:
采样器需要一个用来生成图片的空间,称为潜空间,因为我们是图生图,所以这个潜空间是通过图片来创建的,对应到图中就是“VAE编码”,它会使用从SD模型中提取的VAE模型对参考图片进行编码,编码的数据放到潜空间中传给采样器进行处理。
复制Latent批次:控制一次生成几张图片,一般一张就行了,显存大的同学可以设置更大的值。
K采样器:生成图片的核心组件,它会使用前边合成的SD模型、ControlNet和提示词的条件,搭配采样算法(采样器、调度器、降噪幅度、CFG、采样步数),在潜空间中进行采样,逐步生成所需的图片。
我已经整理好了粘土风格使用的ComfyUI工作流、LoRA模型、IPAdapter模型,需要的的小伙伴看到最后!
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版添加下方免费领取
由于篇幅原因,详细版添加下方免费领取!!!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。