赞
踩
上周Stable Diffusion WebUI正式发布了1.9.0版本,我也第一时间把AutoDL镜像升级到了最新版本,有几个比较重要的更新再和大家同步下。
SDXL-Lightning由字节跳动开源,是一款闪电般的快速文生图模型,能够在几步之内生成高质量的1024像素图像。模型源自 stable-diffusion-xl-base-1.0,提供了包含1步、2步、4步和8步的蒸馏模型,目前2步、4步及8步模型已经可以生成高质量的图片,1步模型还是实验性的。
Stable Diffusion WebUI之前的调度器都不能很好的适应这个模型,导致出图质量不佳,现在一个新的调度器来了,sgm-uniform可以让SDXL-Lightning在SD WebUI中表现的更加完美。
看看效果吧:
对于原版的SDXL,2-4步只能出个大概的面部轮廓,对于闪电模型,4步较为完美。
使用方法如下:
SDXL-Lightning模型下载地址见文末。
在Stability AI发布SDXL 1.0时,同时发布了一个精修模型,用户可以先使用SDXL 1.0的基础模型生成一张图片,然后再使用SDXL 1.0的精修模型让图片更加完美。
在 Stable Diffusion WebUI 之前的版本中,从基础模型到精修模型的切换时机依赖的是采样步数,如下图所示:在迭代步数为20,切换点为0.8的设置下,前16步采样将使用基础模型,后4步采样将采用精修模型。
但是依赖采样步存在问题:因为精修模型是在基础模型的最后若干个时间步上训练的,而不是在采样步上训练的,使用不同的调度器时它们俩是不同步的。如果依赖的是采样步,不同的调度器下想要达到同样的图片质量,我们必须修改“切换点”,才能让精修模型更好的发挥作用。比如在文生图时,默认调度器的“切换点”是0.8,但是Karras调度器的“切换点”可能需要是0.88,这不好理解,也不方便使用。
“切换点”依赖时间步后,针对不同的调度器,我们可以统一使用相同的“切换点”取值,让精修模型都能正常发挥作用。现在,对于SDXL 1.0 发布的精修模型,无论采用什么调度器,0.8是个正确值。
在生成图片的时间维度上,调度器用来控制噪音水平,也就是控制每次采样时增加多少噪音进去,不同的调度器有不同的噪音控制曲线,对生成图片的质量有一定的影响。
之前它是和采样方法放到一起的,采样方法是去除噪音的算法,比如 DPM++ 2M Karras,其中的Karras就是调度器,DPM++ 2M才是真正的采样方法。现在为了更容易控制和理解,它们分家了。
默认是Automatic,也就是自动选择,大家应该也不用太关心。除非是生成图片的效果不佳,你可以试试用不同的调度器,看看会不会有所提升。
功能改进
细节优化
扩展与API
性能优化
漏洞修复
硬件支持
其他
SDXL-Lightning在线体验地址:https://hf-mirror.com/spaces/ByteDance/SDXL-Lightning
SDXL-Lightning模型下载地址:给公众号 yinghuo6ai 发消息:闪电模型
如果你本地跑不起来SD,也欢迎体验我的AutoDL镜像,创建实例时搜索 yinghuoai-sd-webui-fast 即可使用,一键开启,无需复杂操作。
另外我整理了一份系统的 Stable Diffusion WebUI 使用教程,包括基础篇、ControlNet、插件、实战、模型训练等多个方面,还会不定期发布最新的热门玩法,比较全面、体系化,适合新手快速入门,也适合有一定经验的同学突破瓶颈。教程目录:从此开始阅读
以上就是本文的主要内容,如有问题,欢迎留言讨论。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。