关于stable diffusion的embedding训练的一篇随笔_stable diffusion embedding

前言

嗯，因为最近ai绘画很火啊，而且可以本地部署，很多人开始投喂ai然后画一些喜欢的东西，这是刚接触4天的笔记，那么我整理下目录，来展示一下这篇笔记都有什么吧。

1,绘画的关键词和反向关键词

2，调参，高清与面部修复

3，embedding模型的训练素材准备与原理建议

4，炼丹注意事项

那么首先来聊第一条

关键字：这个运行原理是根据一个大模型（下载之后的model），也就是你安装之后的大致这个路径下的文件，以.ckpt结尾

models\Stable-diffusion
1

你是可以通过C站来下载这些（需要魔法），C站本身并不是特别稳定，而且还有一些小bug，这边推荐小猫，不过你既然已经看到训练的篇幅了，那么说明你已经有些了解了，并且一般安装之后是会自带一个model的，所以不用担心。因为除非自带的有特别说明，否则不会对某类图片绘画有特殊偏向。比如我下了一个cat宠物猫模型，那么即使我输入的和猫无关词汇，仍会有关于猫的图片生成。
好了，现在我们聊一下关键词。字面意思，这个就是你希望ai画些什么，又不希望画什么，在没有一个很好地模型的初期，当然是越详细越好，你可以通过百度翻译或者CHATGPT的对话，来把你需要的关键字转换为英文，可以用","或者空格隔开。当然，你也可以用一些已经训练好的模型，从点击这里，我们可以在主页面上选取需要的下载好的模型。

再特别聊一下反向关键字，这个选词的时候一般很抽象，比如我想画一张景色图，那么正向关键词我可能会填：杰作，春天，湖畔，山边，蓝天（以上都需要英文）这一类的词。那么反向关键词我会填：低质量，模糊不清，这一类的词汇，因为在没有练出具体风格的时候，我们完全不了解会出现什么问题，把问题写在这一栏，就可以减少出现概率。
(不过这还是无法完全避免，比如初期我尝试画furry风格的图片，总是会出现3条以上的尾巴，即使我规定正向：一条尾巴；反向：尾巴超过一条，仍然可能会让ai理解错误，这类东西需要我们慢慢来。

第二条调参，面部与高清修复

可以看到东西很多，不过初期我们可以调动的参数一般是：
采样方法，采用迭代步数，面部修复，高清修复，高度宽度，提示词相关性，生成批次和数量。
采样方法可以凭自己喜欢来挑，采用迭代会增加你显卡的转速（不是），让你的出图质量提高，面部修复指的是，有时候你的绘画可能出现各种掉san的问题，比如没有鼻子，嘴歪眼斜，甚至有两张嘴，两个鼻子这一类问题，这个重绘幅度默认是0.7，我们一般不需要去调整这个属性，有条件的可以开启，会大幅缩短你炼丹准备时间。
高清修复顾名思义，就是更清晰，你可以选择不同的放大算法来让图片质量更高，不过过于手绘的个人建议不开，这个默认开启是两倍放大，并不会对画内容本身重绘。
批次和数量就是你希望画多少次，每次多少张，比如出去散步可以挂80-100张，回来之后就可以查看抽卡绘画的结果啦。相关性并不是越高越好，很多时候你并不知道自己想要什么，ai的一个错误理解有时会把你希望的画面提升不止一个层次，这有点像写了一个bug，但是这个bug没有显著危害，甚至有收益，那我们就用就好啦，需要自行斟酌，调高一点点或者保持现状。

素材准备与训练事项

首先，你已经准备要训练一个画风，那么你需要有至少50张图，这里要求画风相同，严禁混合，清晰度尽量一样，你可以用自己ai画的图来炼丹，这样可以很大程度减轻这个问题，我们可以在这个页面来做最开始的准备。

创建一个名称，初始化文字可以不填写，词元向量看自己需求，一般从7-16，大概是从ai画风练习到ai画师练习，画师练习指的是更加专一的一类，比如动物。画风没有这么苛刻，比如中世纪风，赛博风，这一类的。

图像预处理

一般来说按照这个页面填写就可以，原目录即是你自己打算训练的图库，目标目录需要你自己在桌面上或者某个位置新建一个空白文件夹，并把文件位置填写上，然后我们点预处理就好了。

炼丹事项：

1，炼丹对电脑配置要求很高，一般来说，不建议a卡，显存8g以下是练不了的，当然也有方法，不过麻烦就是了。
2，你并不需要一个100%训练的ai，反复跑画风并不一定会得到你满意的结果。

最后，炼丹开始

最大步数根据你自己需要。画风15000-18000差不多就行，画手3-4w差不多，数据集目录就是上文让你新建的文件夹目录，下面打钩按图走，其他所有参数都不需要改，然后点击左下角训练即可。然后你就可以挂机干别的去啦~比如补补番，玩玩手机，总之，训练会消耗非常大的资源和很长的时间，这个时间基本就告别电脑游戏了，消耗最高的一次是我跑的环境是15g显存，稳定占用14.7g。
最后，有刚研究的小白可以一起聊一聊，评论私信都可。