定制文生图：从零基础训练LoRA，生成可爱的热巴姐姐_lora-scripts-gui

---

---

简介：花1分钟了解LoRA在做什么。我们收集了30张热巴的个人照，然后送入到一个微调模型中训练，以让文生图模型能够生成热巴照片。效果如下：
没有使用LoRA模型之前，效果如下：

• 提示词：a girl, silver hair,(一个女孩，银色头发)
  参考这个提示词，就会生成对应的图像，如下：
  
  如果采用我们训练好的LoRA模型，效果如下：
• 提示词：a girl, silver hair, lora:dilireba:1,(一个女孩，银色头发,lora)
  参考这个提示词，就会生成对应的图像，如下：
  
  
  这个效果图，还是按照既定的目标在生成，但是在细节和瑕疵方面还是有不少问题存在。

一、LoRA是什么？

LoRA模型（Low-Rank Adaptation）是一种轻量级的模型微调方法，特别适用于大型预训练模型的快速适应。 在Stable Diffusion模型中，LoRA模型通过引入低秩矩阵来修改预训练模型的参数，从而实现模型的快速适应和优化。

二、LoRA如何训练文生图

1.收集数据

我们在网络上搜集了30章高清图片，有几点注意：1、分辨率高；2、背景不能复杂；

2.软件安装

1.下载整合包

软件整合包地址：https://pan.baidu.com/s/1EcmHFTiJ5-yw3ztOElOtBw?pwd=L461

2.安装依赖

3.解压文件夹

3.把相关模型放入指定文件夹中

这个文件夹里的模型放入：sd-webui-aki-v4.7\models\Stable-diffusion


把这个文件夹里的东西放入：sd-webui-aki-v4.7\models\ControlNet

3.运行软件

点击这个图标

点击一键运行

出现这个界面就算运行成功

4.如何读取

选择这个标签

第一个路径是图片的完整路径一般在sd-webui-aki-v4.7\path\to\images中创建一个文件夹放图片
第二个路径是产生标签的文本的路径一般是和第一个相同（如果本地没有的话会自己创建一个）

4.生产标签

生成的数据标签，是对图片的文本描述；比如：

系统自动标签如下：

1girl, solo, realistic, long hair, brown hair, v, smile, looking at viewer, hoodie, simple background, grey background, hood, upper body, long sleeves
1

虽然自动打标签很强大但是仍然有些描述不准确如‘V’,并没有说明是手势，所以仍然需要认为删除和修改

5.训练步骤

1.下载软件

地址
百度盘：https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw 提取码：p8uy
夸克盘：https://pan.quark.cn/s/b4ccd1f635b6

解压这个压缩包

点击这个文件启动

进入这个页面就算成功启动了

2.开始训练

点击红色框哪里进行训练，因为是新手所以是新手模式。

这里的路径是你模型的完整路径然后加上训练模型的名字

这里是你放置生成标签文本及图片的完整路径。

根据图片大小来设置一般都是512，512或512，768。

第一个可以根据自己的需要进行名字的设置，第二个是Lora保存的位置，第三个是模型保存的频率。

第一个是训练轮数，根据自己需求设置。第二个是一次处理多少图片，根据自己电脑设置。
其他设置默认就好
然后点击训练

命令行出现这个就是训练完毕

三、使用训练好的LoRA

找到自己训练好的Lora，默认在lora-scripts-gui\output里面：

然后复制放到sd-webui-aki-v4.7\models\Lora到在里面去最后重启Lora，在文生图里面选择Lora：

点击之后选择训练好的模型就可以生成你想要的图片，如下图所示：

总结

打通了训练定制内容生成的通道，可以训练属于制定场景的LoRA模型。