LoRa实操入门_lora clip

系列文章目录

第一章 LoRa原理
第二章 LoRa实操入门

---

---

前言

LoRa是大模型微调的一种基础方法，广泛应用于语言大模型、视觉大模型和Clip对齐模型。这里介绍的是使用LoRa来训练Stable Diffusion的流程和细节，内容来自于b站up主朱泥酱，也建议大家去看视频讲解，非常详细。

---

一、LoRa训练的参数

1. 步数相关参数：
   

训练数据放置位置，以及train文件夹内二级文件的命名方式（f"{repeat}_**）：

用于训练的图片需要保持同样的分辨率，如：512x512
正确的tag非常重要：

batchz_size设置建议：

2. 效率质量相关参数
   

3. last
   
   成功案例的LoRa参数：
   
   

二、LoRa模型训练流及小技巧

1. 素材准备：

2. 打tag
   

建议使用VS Code+MOO+百度翻译 进行tag修正。
修正技巧：

3. 训练

使用脚本进行训练：将训练图片文件夹按上面的要求重命名后放置到train/image文件夹下。
在train.psl中调整训练参数：

在train.psl上右键选择使用powershell运行

4. 测试
   整理模型：
   
   xlsx记录：
   

xyz测试（不同模型、不同参数）：

法一：
将模型文件放到stabel diffusion的下面的文件夹中：

webui中：

依次点击：lora——>刷新——>自练
点击其中一个上面保存的模型

改写命令：删除掉尾部<>及其内容，改写头部<>内的内容为以NUM:STRENGTH结尾：

点击生成即可。

法二：
将lora模型复制到下面的文件夹内

启用lora插件，刷新模型：

模型1中随便选择1个模型
然后在下面的选项中选择我们需要测试的模型：

点击生成即可。

测试泛化性小技巧：
在提示的指令中添加未tag的特征来验证泛化性：

三、炼丹小技巧

1. 使用DAdaption确定更精确的的学习率，再用adam 8bit学习

点击 开始训练、打开tensorboard

从图像中观察不变的学习率

再使用其它的优化器：

2. 采用分门别类的数据划分
   

---

作者赠语

福生无量天尊，
仙途漫漫，
道阻且长，
祝诸位道友早日顺利结丹！！！

---

参考视频：https://www.bilibili.com/video/BV1GP411U7fK/?spm_id_from=333.337.search-card.all.click&vd_source=071a6a156f5d29dbb9701c2bdbda3878