当前位置:   article > 正文

AI绘画超强功能ControlNet之OpenPose骨架姿势控制篇_controlnet1.1openpose姿态预处理下载

controlnet1.1openpose姿态预处理下载

原文:AI绘画超强功能ControlNet之OpenPose骨架姿势控制篇 - 知乎

今天给大家带来的是Controlnet使用篇之Openpose篇教程。

Openpose就是传说中那个可以指定人物姿势动作的神奇控件。

在此之前,如果要指定人物姿势动作,基本上需要在prompt提示词写很详细,或者用图生图加上详细的prompt才能小概率生成满意的姿势。

而如果是一些稍微复杂一些的动作,几乎只能开盲盒了,很难控制,效率特别低。

而现在,只要用contolnet,就能精确控制人物姿势了,可以说,AI绘图可控性又前进了一大步。

(controlnet文档示例图)

那么,怎么使用呢?

一.

1.首先,你需要已经安装stable diffusion webui程序ControlNet插件,下载好了Openpose模型。

2.打开stable-diffusion-webui。

3.找一张人体姿势比较复杂的图

正脸上半身美女我们已经见太多了,姿势动作非常单一,看多了就审美疲劳了。

我网上随便找一张相对少见点的姿势,考考controlnet的效果。

比如这张。

(来源:昵图网)

4.稍微裁剪一下,让人物更大一点。

5.把图片放进controlnet,Enable打开,预处理器选择openpose,引导模型选择openpose,然后点击Preview annotator result按钮,生成预处理预览图。

6.看预览的骨架图,识别还算精确。

(找的图最好是真人,不要动漫,识别会准一点。如果识别出来的动作不对,则要换图,或者用openpose插件手动调整骨架的节点。文章后半部分有样例。)

7.接下来,准备要生成图片了。

基础模型选动漫类模型。

(这里建议选择漫画类模型,真人模型感觉姿势库可能少一些,效果不是很好)。

Prompt提示词我就写“girl,dump”(女孩,跳跃)。

8.然后点击generate生成按钮。

(结果图)

可以看出来,虽然一些细节还是表现不太好,比如手部,脚掌鞋子等。但姿势还是比较还原的,已经算是很强了。

(如果要优化局部的话,可以用inpaint功能重绘一下,或者自己用PS调整一下细节。)

就一张图没啥说服力,我们接着再来随便找一张图试试。

二.

换个方向,还是跳跃。

(摄图网)

1.还是导入图片,选择预处理器 openpose,模型openpose。调节一下画布长宽,保持与原图比例一致。点击preview。

2.发现预处理图没啥问题,于是输入prompt,还是写girl,dump。

3.生成,看看效果。

(结果图)

嗯,发现也还好,姿势基本到位了。

细节一般般。如果要提升细节可以在prompt里面加一些质感相关的图,比如detailed,masterpiece,wallpaper之类。然后增大处理步数steps之类。

今天主要玩controlnet的openpose,就不展开讲了。

三.

接下来,我们再来玩一下openpose插件。上次让大家下载openpose,终于派上用场了。

1.首先,我们去网上随便找一张图,比如坤坤的鸡你太美。

(bilibili.com/video/BV1J4411v7g6 鸡你太美原版视频,随便截了一个图)

((画外音)IKUN震怒:小黑子,你终于露出鸡脚了!)

我摊手:咱不是小黑子也不是IKUN,只是学术研究,不要激动哈。

2.接下来我们继续,会发现,这图小腿部分不完整,没关系,先上传到openpose。

3.点击openpose editor页面,点击detect from image,发现已经自动识别骨架图了(没有这个选项框的证明你这个插件安装不成功,看看历史教程检查确认一下)

发现识别的骨架图有点不对,坤坤的左腿小腿需要调整下,另外右大长腿需要延长一点。

4.于是用ps之类的工具,把截图拉长一点,再点击reset,并点击detect from image把拉长后的截图上传到openpose editor,同时调整一下相关骨骼节点,来还原正确的人物姿势。

5.调整结束后,点击save png来保存骨架图。

6.接着,把刚刚保存的骨架图上传到controlnet,预处理器选none,引导模型选openpose,调整一下画布长宽,使之与原图比例一致。

7.接着prompt部分,我就写 girl,dance。点generate看看结果。

(结果图)

嗯,姿势动作倒是符合的,还很有气质,不赖呀。

四.

那么,我有一个大胆的想法,是不是可以生成一首完整的鸡你太美?

查了一下,果然已经有人这样做了,笑死。

(来源:[AI动画] 鸡你太美 但是AI KUN 作者:AI变变变,B站截图)

另外,openpose editor除了可以自己上传图片后调整骨架,也可以直接添加初始骨架,然后手动调整成想要的姿势动作。

调好之后,保存骨架图,放在control net插件里,就能生成自己想要的姿势啦。

如果要生成多人图片,也是从openpoce插件里面,生成多个骨架然后调整姿势。原理是一样的。就不一一演示了。

(图:TomLikesRobots,twitter)

好啦,今天的教程先到这里,咱们明天见,下课~

注:

Controlnet插件对显卡性能要求较高,除了需要加载ckpt基础模型,还要加载controlnet预处理模型,和引导模型,建议显卡6G以上显存。

Controlnet使用时会经常爆显卡,显示显存不足,尤其是显存较小的同学。

显示显存不足时就不会有引导效果,所以你会感觉controlnet没用,不像。

解决办法是可以勾选low VRAM选项,同时有时候可能要重启webui以便释放显存。还有一种处理办法就是降低画布canvas和生成图片的长宽。以节省显存,避免报错。

AI绘画相关问题都可以私我解决,点付费咨询也行。

注:本文含AI创作内容。

历史文章链接:AI绘画相关文章合集0314

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/499895
推荐阅读
相关标签
  

闽ICP备14008679号