AI绘画：StableDiffusion炼丹Lora攻略-实战萌宠图片生成_训练lora二次元参数

写在前面的话

近期在小红书发现了许多极其可爱、美观的萌宠图片，对这些美妙的图像深深着迷

于是想着看看利用AI绘画StableDiffusion以下简称（SD）做出来。

以下是详细实操的全过程，包括所有用的资料已经打包到网盘。文末领取

最后尝试的最终效果如下：

一：准备

需要的资料都打包在网盘里面，需要的自行下载。
文章末尾领取

二、Lora作用

LORA可以让我们轻松画出特定的人物，物品，特殊的笔触和特殊的画风或风格，属于一种特殊训练的子集。

1.AI模特

炼出一个自己的模特，让这个模特穿上自己的商品

2.炼衣服Lora

添加一个衣服的Lora，就可以让人物穿上特定的衣服

3.改变画风/画面背景

通过添加Lora改变照片的画风，这个画风可以自己去训练

Lora模型究竟是什么？

专业的解释

LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models，可以理解为stable diffusion（SD)模型的一种插件，和hyper-network，controlNet一样，都是在不修改SD模型的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模型（也就是ChatGPT的前生）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入（inject）SD模型，从而改变SD模型的生成风格，或者为SD模型添加新的人物/IP。

通俗的解释

Lora可以复刻人物和物品的特征，固定人物动作，改变照片画风

而且Lora只需要少量的数据就可以训练出来，比训练大模型要简单很多

所以大家可以通过训练自己的Lora，做出定制的图片

但不得不说的是，目前的Lora还不能做到100%相同，尤其是细节方面

但是相信随着之后的技术发展，万物皆可Lora的时代是不远的

三、如何炼制自己的Lora模型？

炼制Lora的方式有很多种

有用脚本训练的，也有在网站界面上训练的，最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多，包括通过脚本进行训练，通过网页界面操作，甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同，但其训练逻辑其实都是相同的。

因此，我们可以选择使用整合包。整合包的优点在于，它将炼丹所需的所有工具和步骤集成在一款软件中，为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步：

1.下载整合包

2.准备工作

3.开始训练

4 .测试Lora

5.优化Lora

四、炼丹前的准备（下载整合包）

在炼Lora之前，需要大家先确认一下自己的电脑配置：

1.电脑配置需要N卡，并且6G显存以上

2.A卡和Mac系统，或者电脑配置不太行的小伙伴建议用云平台

我这里用的是整合包：
需要的小伙伴文末领取

下载好了之后把它解压到D盘或者E盘，不要放在C盘！！

打开解压之后的文件夹，在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式，这样就不用每次都要打开文件

看到这个页面就安装好了，点击“开启炼丹炉”就可以开始炼Lora啦！

五、选择合适的大模型

跟画图一样，炼Lora之前也要先选一个大模型，确定Lora的画风

这里训练的萌宠，我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的Stable Diffusion里面没有模型，那就要先去下载模型噢！

已经给大家准备好了热门常用的大模型
可以在文章末尾领取

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

六、高质量素材的制作

以上准备工作及参数设置好了后，就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要！！会直接影响最后出来的Lora的质量

我们的素材需要满足几个点：

1.上传20~30张照片

2.素材要高清！！！

3.多角度照片

这里我就以炼萌宠Lora为例子，上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”，上传自己的照片

一般情况下，下面的参数默认就可以了

需要调整参数的话，最好是需要了解参数的含义，如果乱调的话，可能会训练失败。

不要选择太高的分辨率，容易爆显存

另外，如果训练真人Lora，可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片，这样AI能学到更多的脸部细节

七、耐心等待的训练过程

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了，没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西，比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意：具体好不好还是要在Stable Diffusion实际测试才知道

等训练完了之后，点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型，但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了，再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下，才知道哪个是最好的

八、如何测试Lora的好坏

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图，可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好，就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹，放到Lora文件夹里面

注意：最好新建一个文件夹，比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型，这里只是为了方便进行测试，统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词，比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了：把000017换成NUM，1换成STRENGTH

<lora:cute dog_20230708214731-000017:1>

例如：

<lora:cute dog_20230708214731-NUM:STRENGTH>

迭代步数，采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择 “X/Y/Z图表”

X轴、Y轴类型都选择 “提示词搜索/替换”

X轴的值输入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图，可以看到这几个Lora模型在不同强度下的表现

九、如何优化Lora

实际上，炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是 确保我们的喂给AI的素材是高质量的！

不然不管怎么修改参数，出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人：AI没学好

2.Lora过拟合，甚至出来的照片崩了：AI学过头了

过拟合就是不管输入什么关键词，出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人，那就可以适当增加Repeat（学习步数）值

如果照片过拟合了，那就减少Repeat值

其他参数都可以不用调，因为默认的参数就差不多是最优值了

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​