赞
踩
一篇文章教会你,从入门到使用。
这里是行者AI,我们专注于人工智能在游戏领域的研究和应用,凭借自研算法,推出游戏AI、智能内容审核、数据平台等产品服务。
controlNet控制生成
anypaint
看到这篇文章的你,一定也是AI绘画的爱好者吧。我们有一款可以0门槛上手入门,也可以满足复杂专业生图需求的AI美术在线学习工具anypaint。在线生图,无需硬件和部署。anypaint功能包括文生图、图生图、局部重绘、高清放大、LoRA、ControlNet、潜变量局部放大、平铺扩散、姿势编辑等。不论你是初学者还是专业人士,都能在图刷刷中找到适合自己的绘图方式和独特风格,为你的创意提供无限可能。入股绝对不亏。
链接给各位看官奉上:
ControlNet的出现代表着 AI 生成开始进入真正可控的时期,而 AIGC 的可控性是它进入实际生产最关键的一环。如果说Lora是把你想要画面的风格炼制成模型,那么ControlNet就是更好地控制这个模型,生成你想要的特定姿势或画面。文章以下关于ControlNet的教学都以anypaint为例(https://www.anypaint.art/),建议可以边看边打开网页操作,效果更好,不方便的话可以先收藏。
ControlNet 的核心能力就是能让我们通过设置各种条件来让AI更可控地生成最终图像结果。这些条件就是通过调节预处理器参数来实现的,所以我们首先要先了解下 ControlNet 各种预处理器的功能,展示部分预处理器效果如下:
每个 ControlNet 的预处理器都有不同的功能接下来我们具体一个一个来看,他们究竟是什么?怎么用?什么时候用哪个?或者那些合适?
(表格太长,完整表格已放评论区,需要自取)
Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,帮助我们标注轮廓、动作、衣服褶皱、表情等等画面的细节,多用在3转2;常用于生成线稿。
缺点:主体容易被其他的背景影响
1. 预处理器分辨率
预处理器分辨率数值越高越精细,也越吃显存。但如果数值太低生成的线条也会很粗糙。默认512,具体设置时需根据素材大小和实际情况来做权衡。
也可直接勾选【Pixel Perfect】选项,系统自动设置最佳分辨率(推荐)
2.长和宽的阈值,这个值越高线条越简单,越低线条越复杂。
注意:一定要找到和预处理器对应名字一样的模型。
通过提取原始图片中的深度信息,生成具有原图同样深度结构的深度图,越白的越靠前,越黑的越靠后。
● 用来表示空间距离,也就是前后距离,体现透视关系;越白的就越靠前,越黑的就越往后
● 可以用来更换背景、主体、还有画风之类的东西;有时我们也可以用于生成遮罩蒙版。
● 深度图可由3D软件生成,也可以使用PS
● 如果用人像来检测的话,边缘轮廓没问题,但白色里面是没有细节的,所以单独使用的话一般就用风景,或者能表示纵深关系的图。
LeReS 深度信息估算比 MiDaS 深度信息估算方法的成像焦点在中间景深层,这样的好处是能有更远的景深,且中距离物品边缘成像会更清晰,但近景图像的边缘会比较模糊,具体实战中需用哪个估算方法可根据需要灵活选择。
如下图能看出我们很好地控制住了生成结果的整体结构,这与原图基本保持一致。
HED 边缘检测可保留更多柔和的边缘细节,类似手绘效果。
参数也是分辨率越高越精细,但也越吃显存。
相对于使用普通的 img2img ,边缘线提取的方式可以生成更加清晰完整的图,黑色描边也得到了很好的重绘。
Normal Map 法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图,便于AI给图片内容进行更好的光影处理,它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多,常用于贴在低模上模拟高模的复杂光影效果。
如需要把 Normal map 从 RGB 反转成 BGR 的可把这个选项勾上。(注:因坐标系问题,有时需要反转下通道信息,如生成结果的光照信息和你预期是反的,可能需要勾选此选项)
OpenPose 姿态检测可生成图像中角色动作姿态的骨架图,这个骨架图可用于控制生成角色的姿态动作。这个没有涉及手部的骨架,所以手部控制不行有时会出问题。
OpenPose 姿态及手部检测解决了姿态检测手的问题。如下图有了手部骨骼控制生成的手部效果会更好。
除了生成单人的姿势,它甚至可以生成多人的姿势,这点非常关键,在此之前AI生成的画面里多个人物的特定动作是几乎无法靠提示词来实现的。
通过控制人物姿势,在人物角色设计时也可以得到很好应用。
PiDiNet 边缘检测生成的线条较粗壮,类似雕刻效果。这个预处理器要配合选择 hed 模型效果才会比较好。
不用自己画,扔个图片给AI,生成类似涂鸦效果的草图线条。
该算法提取了曝光对比度比较明显的区域,以此来重新引导。可以看到提取的涂鸦,仅保留了曝光度对比较大的部分,但是细节保留的很不错,细节保留的越多,那么重新引导时所能更改的部分就越小。
参考原图的风格或角色
reference只有预处理器,不需要模型,该功能对于保持人物角色也有不错的效果。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。