当前位置:   article > 正文

Stable Diffusion为什么生成的图片总是糊的?_stable diffusion生成的图片变花

stable diffusion生成的图片变花

我们先看一下出图时模糊的图片效果。

图片

我相信很多初学者在开始绘图的时候经常会碰到这种情况。当然我自己也曾经碰到过,我总结了一下,一般有以下几种情况。

第一种情况:大模型使用的是SDXL大模型,VAE模型选择了vae-ft-mse-840000-ema-pruned.safetensors。(必现场景)

这种情况是必现的。也是当时网友私聊时使用SD出图模糊的主要原因。

为什么这种情况会出现呢?

我们首先要了解一下什么是VAE模型,可以把VAE模型理解为颜色滤镜,它主要用于调节和美化生成图片的色彩。

图片

对于VAE模型,可以参照我之前的文章【Stable Diffusion【模型篇】:VAE模型】,写的时间有些早,但是可以参照看一下。

VAE模型为什么会造成这个问题呢,主要是VAE模型也区分SD1.5和SDXL的模型的。我们的大模型使用的是基于SDXL的大模型,但是VAE模型选择的ae-ft-mse-840000-ema-pruned.safetensors是基于SD1.5的大模型,二者并不匹配。

下面是C站上面关于SD1.5的模型。

图片

从上面的图片我们可以看到很多常见的VAE模型都是基于SD1.5的。这里就包括我们上面提到的vae-ft-mse-840000-ema-pruned。

关于SD1.5的VAE模型这里罗列了一些常见的,感兴趣的朋友可以了解一下。

  • vae-ft-mse-840000-ema-pruned

  • vae-ft-ema-560000-ema

  • kl-f8-anime系列(主要用于动漫大模型)

  • ClearVAE(主要用于动漫大模型)

  • Color101(生成更鲜艳色彩,更接近HDR效果和更自然图像的VAE)

下面是C站上面关于SDXL的模型。

图片

基于SDXL的VAE模型相当比较少,最常用的是sdxl vae模型。为什么基于SDXL的VAE模型比较少呢,因为VAE模型本身就比较小,很多SDXL的大模型都已经融入了VAE模型,所以基于SDXL的大模型一般不选择VAE模型出图效果也不错的。例如在LiblibAI网站,当我们选择SDXL大模型的时候,VAE模型选项是禁止选择的。

一般来说,对于基于SDXL的大模型,我们VAE模型可以不用选择,要选择的话最好选择sdxl_vae。

我们来对比看一下效果。

正向提示词:1 super beautiful chinese girl, solo

反向提示词:nsfw,easynegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),((watermark)),

下面是相关参数配置:

  • 大模型:SDXL 1.0的基础大模型

  • 采样器:Euler a

  • 采样迭代步数:30

  • 图片宽高:1024*1024。

  • 提示词引导系数(CFG):7

不使用VAE模型生成的图片

图片

图片

使用sdxl_vae模型生成的图片

图片

图片

基于SDXL的大模型使用VAE模型和不使用VAE模型差别大吗,大家可以自己甄别哈。

总结:使用SDXL的大模型+SD 1.5的VAE模型生成的图片大概率都是糊的。

第二种情况:大模型使用的是基于SDXL大模型,选择了Refiner(精炼器)

这种情况不是必现的。

图片

今天尝试了很多次,都没有模拟出来,不过之前在使用SDXL基础模型出图的时候碰到的概率还是蛮大的,后面我选择SDXL基础模型的时候关于Refiner选项我一般是不选中的。

关于SDXL的Refiner(精炼器)主要属于细化模型。对图像进一步优化细节。目前有些大模型并不兼容Refiner(精炼器)。

第三种情况:由于各种原因图片未生成完毕SD系统工具出问题了,例如报OOM的显存异常等

另外:如果我们采样迭代步数设置的比较小,例如上面的示例中将采样迭代步数设置为5,出来的图片也是模糊的,但是和上面图片的模糊不是一个类型哈。

图片

图片

还有其他的情况吗,欢迎各位小伙伴们积极补充哦。

这里就简单说几种应用:

1. 人物和背景分别控制

2. 三维重建

3. 更精准的图片风格化

4. 更精准的图片局部重绘

以上就是本教程的全部内容了,重点介绍了controlnet模型功能实用,当然还有一些小众的模型在本次教程中没有出现,目前controlnet模型确实还挺多的,所以重点放在了官方发布的几个模型上。

同时大家可能都想学习AI绘画技术,也想通过这项技能真正赚到钱,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学,因为自身做副业需要,我这边整理了全套的Stable Diffusion入门知识点资料,大家有需要可以直接点击下边卡片获取,希望能够真正帮助到大家。

 

img

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/889098
推荐阅读
相关标签
  

闽ICP备14008679号