AI绘画Stable Diffusion进阶使用_底模和lora

本文讲解，模型底模，VAE美化模型，Lora模型，hypernetwork。
文本Stable Diffusion 简称sd
欢迎关注

使用模型

C站：https://civitai.com/
huggingface：https://huggingface.co/models?pipeline_tag=text-to-image

大模型（底模型）

stable diffusion webui 部署完成后，checkpoint是放底模
home\webui\models 目录下
常见模式：后缀ckpt/safetensors
常见大小：2G-7G

Realistic Vision：逼真的照片风格。
Anything v5：动漫风格。
Dreamshaper：写实绘画风格。

VAE美化模型

可以理解为滤镜，选择VAE就像给图片套上了一层滤镜，会改变图片原有的颜色风格；一般默认是无，而且有些大模型中会自带VAE
常见模式：后缀ckpt/pt
名字中带有vae

stable-diffusion-webui 默认页面并没有显示 VAE 设置部分，所以需要先设置一下。首先点击「Settings」，然后点左侧菜单的「User interface」这个 Tab，拉到下面有个选项叫做Quicksettings list，在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:

最后点击上面的「Apply settings」，在点「Reload UI」就会重新刷新页面，即可看到头部的 VAE 区域:

可以去C站和huggingface下载
我们把这些 VAE 模型下载并把它放入到models/VAE目录下:

wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O ~/workspace/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
wget https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensors -O ~/workspace/stable-diffusion-webui/models/VAE/Anything-V3.0.vae.safetensors
wget "https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors" -O ~/workspace/stable-diffusion-webui/models/VAE/BerrysMix.vae.safetensors

1
2
3
4

所谓没有对比就没有伤害，对比明显可以感受到不加 VAE 图片优点灰蒙蒙的，不够鲜艳，另外是细节不够，而加了不同的 VAE 都有了更好的颜色效果，细节更全了 (微调)。

最后，注意不同的 VAE 适配的模型不同，也不是某个 VAE 可以用在任何模型下，否则可能会生成非常奇怪的图。

Lora模型

LoRA模型是通过截取大模型的某一特定部分生成的小模型，虽然不如大模型的能力完整，但短小精悍。因为训练方向明确，所以在生成特定内容的情况下，效果会更多。
常见模式：后缀ckpt/safetensors/pt
常见大小：100MB
模型下载并把它放入到models/Lora目录下

可以去C站下载搜索Lora模型

Embeddings

通过角色训练产出，能够让你的主模型识别某个指定的角色，因为你的主模型不可能每个角色都认识，通过文件名触发。
常见模式：后缀pt
常见大小：几十KB
模型下载放到webui\embeddings
可以去C站下载搜索Embeddings模型

Hypernetworks

通过画风训练产出，能够指定特定的画风！
常见模式：后缀pt
常见大小：几十KB
模型下载放到webui\models\hypernetworks
可以去C站下载搜索hypernetworks模型

功能类型选择

除了文生图，也可根据自己的需求选择其他选项卡进行操作，以下简单介绍正常流程会用到的选项卡：

图生图（img2img）：将文生图的结果继续生成图片，或自己上传一张图片，常用于调整和优化图片，或修改图片风格、背景、人物形象等场景；
附加功能（Extras）：对单张或批量图片进行缩放的操作；
图片信息（PNG Info）：将本地图片上传后，可以用于其他选项卡的功能中；
模型合并（Checkpoint Merger）：将多个模型进行不同权重的合并，从而获得一个新的模型；
扩展：SD的扩展插件配置区，可以查看已安装的插件内容，并控制开启和禁用状态；也支持通过URL的方式获取其他插件。

掌握提示词技巧

提示语输入基本要求

使用英语描述最佳，避免出现单词拼写错误；（不同模型可能有训练中文和日文，可自行判断）

标点符号同样使用英文半角进行输入；

建议使用逗号隔开的单词作为提示词；（也可用句号、甚至是空字符（\0)来分隔关键词，可以提高图像质量；

也可以使用自然语言描述图片内容，比如：A handsome hero armed with a sword（一个英俊的英雄装配着剑）

提示语描述和图像风格搭配，相近的描述不要重复出现

善于利用反向提示语来去除图片的负面效果；

尽可能使用特定含义的词汇，比如将 big 调整为 huge ，避免使用有多种含义的词汇；

避免使用with、and之类的连接词；

可使用emoji(