完整lora模型训练过程。_lora 风格化训练

---

前言

记录一次完整的lora模型训练过程。包括数据集的收集—数据打标签—模型训练—模型测试四个过程。

---

一、采集图片数据集

首先要有一个生成目标，比如你是想生成人物还是高清面部又或者是特定风格的图像。

我想要训练模型为中国传统画风格，就需要去找古风古韵的图片，找图片还要能免费下载，推荐一个非常好用的网站：
https://www.pinterest.com/，可以免费下载高清图片，尽量挑选没有水印的。

如果实在无法避免，可以利用PS去水印，操作步骤参考：https://zhuanlan.zhihu.com/p/633379355，介绍了8种去水印的方法，本人推荐使用第二种就可以啦。

由于lora模型本身就是在基座模型的基础上进行训练的，所以不需要太多图片即可训练，我采集了14张图片进行训练，建立自己的数据集文件目录如下：

二、图片标注

1.启动stable diffusion-webui

参考之前博文：
已经将stable diffusion-webui部署到linux服务器后，切换到该目录下

cd stable-diffusion-webui/
1

激活虚拟环境

source venv/bin/activate
1

运行以下命令

bash ./ run.sh
1

右下方弹出，选择"Open in Browser"

2.载入数据集

图片标注基本完成，也可以通过"Remove"删除一些不必要的prompt。

三、Lora训练

为了配合koyha_ss GUI界面，建议安装MobaXterm并配置SSH，具体安装参考博文：https://blog.csdn.net/qq_44074697/article/details/118544904

首先按照之前的步骤激活stable-diffusion-webui下venv环境后，切换到koyha_ss目录下运行以下代码

bash ./ run.sh
1

剩下步骤参考上篇博文：https://blog.csdn.net/qq_43570821/article/details/136236477

注意：wandb作为一个训练过程可视化工具，需要了解参考：
https://github.com/OpenRL-Lab/Wandb_Tutorial/blob/main/README_zh.md

附：获取wandb密钥

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/791931509dac4dccbb7466dd06b3254b.png

启动训练

四、测试模型

• 可调节的图片参数：图片尺寸，采样步数（一般为35左右即可）
• prompt也很关键，需要掌握一些技巧以生成最佳画面
• 加载lora模型后有一个0-1之间的系数，该系数越大越接近自己数据集的图像风格，越小越接近基座模型风格，如果自己的lora模型为1时，效果不是很好，建议改为0.7左右，也可以选择更换数据集重新训练lora模型。如果不想抛弃前面的训练工作，可以选择在已保存好模型后继续训练lora模型。

---

总结

训练自己的lora模型时，数据集真的很重要，需要精挑细选。使用训练好的模型进行文生图时，足够的prompt技巧也必不可少。后面会继续训练更多风格的lora模型，补充如何在原有lora模型上继续训练的知识。