当前位置:   article > 正文

定制文生图:从零基础训练LoRA,生成可爱的热巴姐姐_lora-scripts-gui

lora-scripts-gui


简介:花1分钟了解LoRA在做什么。我们收集了30张热巴的个人照,然后送入到一个微调模型中训练,以让文生图模型能够生成热巴照片。效果如下:
没有使用LoRA模型之前,效果如下:

  • 提示词:a girl, silver hair,(一个女孩,银色头发)
    参考这个提示词,就会生成对应的图像,如下:
    在这里插入图片描述
    如果采用我们训练好的LoRA模型,效果如下:
  • 提示词:a girl, silver hair, lora:dilireba:1,(一个女孩,银色头发,lora)
    参考这个提示词,就会生成对应的图像,如下:
    在这里插入图片描述
    在这里插入图片描述
    这个效果图,还是按照既定的目标在生成,但是在细节和瑕疵方面还是有不少问题存在。

一、LoRA是什么?

LoRA模型(Low-Rank Adaptation)是一种轻量级的模型微调方法,特别适用于大型预训练模型的快速适应。 在Stable Diffusion模型中,LoRA模型通过引入低秩矩阵来修改预训练模型的参数,从而实现模型的快速适应和优化。

二、LoRA如何训练文生图

1.收集数据

我们在网络上搜集了30章高清图片,有几点注意:1、分辨率高;2、背景不能复杂;

2.软件安装

1.下载整合包

软件整合包地址:https://pan.baidu.com/s/1EcmHFTiJ5-yw3ztOElOtBw?pwd=L461

2.安装依赖

在这里插入图片描述

3.解压文件夹

在这里插入图片描述

3.把相关模型放入指定文件夹中

在这里插入图片描述
这个文件夹里的模型放入:sd-webui-aki-v4.7\models\Stable-diffusion
在这里插入图片描述
在这里插入图片描述
把这个文件夹里的东西放入:sd-webui-aki-v4.7\models\ControlNet

3.运行软件

在这里插入图片描述
点击这个图标
在这里插入图片描述
点击一键运行
在这里插入图片描述
出现这个界面就算运行成功

4.如何读取

在这里插入图片描述
选择这个标签

在这里插入图片描述
第一个路径是图片的完整路径一般在sd-webui-aki-v4.7\path\to\images中创建一个文件夹放图片
第二个路径是产生标签的文本的路径一般是和第一个相同(如果本地没有的话会自己创建一个)

4.生产标签

生成的数据标签,是对图片的文本描述;比如:
在这里插入图片描述

系统自动标签如下:

1girl, solo, realistic, long hair, brown hair, v, smile, looking at viewer, hoodie, simple background, grey background, hood, upper body, long sleeves
  • 1

虽然自动打标签很强大但是仍然有些描述不准确如‘V’,并没有说明是手势,所以仍然需要认为删除和修改

5.训练步骤

1.下载软件

地址
百度盘:https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw 提取码:p8uy
夸克盘:https://pan.quark.cn/s/b4ccd1f635b6
在这里插入图片描述
解压这个压缩包
在这里插入图片描述
点击这个文件启动
在这里插入图片描述
进入这个页面就算成功启动了

2.开始训练

在这里插入图片描述
点击红色框哪里进行训练,因为是新手所以是新手模式。
在这里插入图片描述
这里的路径是你模型的完整路径然后加上训练模型的名字
在这里插入图片描述
这里是你放置生成标签文本及图片的完整路径。
在这里插入图片描述
根据图片大小来设置一般都是512,512或512,768。

在这里插入图片描述
第一个可以根据自己的需要进行名字的设置,第二个是Lora保存的位置,第三个是模型保存的频率。
在这里插入图片描述
第一个是训练轮数,根据自己需求设置。第二个是一次处理多少图片,根据自己电脑设置。
其他设置默认就好
然后点击训练
在这里插入图片描述
命令行出现这个就是训练完毕

三、使用训练好的LoRA

找到自己训练好的Lora,默认在lora-scripts-gui\output里面:
在这里插入图片描述
然后复制放到sd-webui-aki-v4.7\models\Lora到在里面去最后重启Lora,在文生图里面选择Lora:
在这里插入图片描述
点击之后选择训练好的模型就可以生成你想要的图片,如下图所示:
在这里插入图片描述

总结

打通了训练定制内容生成的通道,可以训练属于制定场景的LoRA模型。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/空白诗007/article/detail/753778
推荐阅读
相关标签
  

闽ICP备14008679号