赞
踩
教程专栏前文传送门:
本文主要讲解如何利用不同的插件帮我们更好的重绘。
目录
这张图中间的小黑猫生成时候畸形了,现在如果想将这只黑猫去除,上篇文章说的comfyUI自带的两个图生图节点都不能很好的做到。
Set Latent Noise Mask:重绘受原图影响肯定不行
VAE Encode (for inpainting) :边缘和原图很难融合
这时我们可以通过lama技术,它可以依据附近区域推断来填补蒙版区域,再使用低幅度的重绘来使图片更自然:
可以看到,经过lama初次处理过的区域效果已经很好,但会导致蒙版区域发灰,再低幅度的重绘后,就可以达到理想的状态:
我使用的lama插件是:comfyui-mixlab-nodes
这是一个工具节点整合包插件
节点是:LamaInpainting
注意初次使用需要下载模型,会比较久。
在生成人物时,是不是常有人物好像磨皮美颜过,感觉有点假?
这是因为在生成图片时,达到指定的步骤后多余的噪声会被抛弃,一些细节就会丢失,自然就像开了磨皮美颜。
那么一个生成好的图片还能在完全忠实于原图的基础上再增加细节吗?
回顾上篇文章我们知道:
Set Latent Noise Mask,就是在原图基础上加上少量噪声来完成重绘,注意这些噪声是新的,随机的,虽然增加了细节,但是也实际上改变了原图的面貌,新的噪声产生的细节也很那说是好的还是坏的。
如果我们添加的噪声是原图本来的噪声呢?
使用Noise插件下的 Unsampler 节点就可以“时空逆转”将图片还原成噪声状态:
此节点的输入输出基本上是和普通的正向采样器是一致的,但有以下注意点和技巧:
模型,提示词,步数等如果能找到原来效果更好
cfg设置为1,能更好的还原原本的噪声
end_at_step 结束的步数不要太低,原本的步数一半一般比较合适
可以使用Noisy Latent Image 和 Inject Noise 加入一些额外噪声
工作流全貌:
comfyUI自带的两个重绘节点Set Latent Noise Mask,VAE Encode (for inpainting) 有一个很大的缺点就是
他们都会对全图进行重绘。无论蒙版多小,重绘时间和资源占用是根据整个图片的大小来重绘的。导致对高分辨率图片细节重绘时又慢又容易爆显存。
那么换个思路,我们可以将高分辨率图片的蒙版周围区域剪切一部分,比如剪切一个512*512的区域来重绘,这样既快,而且图片和周围的区域融合的也比较自然。
比如这张图,鸟明显是有问题的,但是分辨率2k,直接重绘不太现实,毕竟不是所有人都有4090:
如果我们自己想搭一套剪切重绘流程,显然是非常复杂的,但使用这个插件节点:
他就可以帮我们做到基于蒙版截切区域去重绘。
我们使用的是Impact Pack 插件(这插件功能很多也很强大,后面会出个专栏介绍他的所有功能,有兴趣可以持续关注)
节点:MaskDetailer(pipe)
输入讲解:
guide_size
:蒙版方形框选后如果小于guide_size
就会被处理器放大再处理,小于则直接跳过
guide_size_for
:mask bbox 基于蒙版的矩形,crop region 在蒙版位于边界时会扩大裁剪区域
max_size
:将截取的长边限制为小于max_size
。
feather
:将恢复的细节合成到原始图像上时,图像融合的渐变强度
crop_factor
: 此参数确定要基于蒙版的裁剪区域扩大比例。
drop_size
: 如果蒙版小于此大小的部分都将被丢弃。
inpaint_model
:使用修复模型时,需要启用此选项以确保在降噪值低于 1.0 时正确修复。
noise_mask_feather
:羽化蒙版。
refiner_ratio
:使用 SDXL 时,此设置确定要应用的精炼步骤在总步骤中的比例,不是SDXL可以忽略。
cycle
:此设置确定采样的迭代次数(一般来说低降噪多次循环效果会更好)。
全流程:
本系列下一篇我将给大家带来实战,将各个插件功能组合起来去进行重绘。
查看我的公众号,还有更多教程和资讯分享!本文所有工作流也放到了上面,回复“重绘2”即可获得!
——因为热爱的AI漫谈社
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。