赞
踩
在这篇文章中,我将梳理和总结我在LoRA训练过程中的思考方式、步骤,以及我们所遇到的问题及其解决方案的回顾。希望这能够给初涉炼丹之路的朋友们带来一些启发和帮助。
LoRA的相关实用信息:
在前段时间,首次踏足了LoRA模型的训练领域。在整个训练的时间里,一直在不断面对各种问题,经过摸索、解决问题,对模型进行修改和完善,最终成功地度过了这个训练的阶段。庆幸的是,所有的问题都被一一解决。
一、什么是Lora
Lora这一术语源于《LoRA: Low-Rank Adaptation of Large Language Models》这篇于2021年发表的论文。它代表着一种新颖的大型语言模型的低秩适配器。简而言之,Lora通过减少可训练参数的数量,实现对大型模型的微调,使得模型在性能上尽可能不受影响。
在此之前,要调整Stable Diffusion的效果,只能依赖Dreambooth的方法进行大模型的重新训练。然而,重新训练大模型的要求颇高,计算资源需求大,速度缓慢。自从引入Lora到Stable Diffusion后,训练门槛显著降低,同时也扩展了适用范围。这让我们这些对AI绘画充满兴趣的非专业人士也能够在家中利用个人电脑尝试训练自己的Lora模型。
二 、要求条件
LoRA的训练对显卡性能有一定的要求,同时需要安装一些便于训练的软件。
首先,计算机配置的主要关注点是显卡,需要确保显卡有足够的显存,其他配置相对较好即可。在选择显卡时,显存是最关键的考量因素,SD1.5版本的底模6G显存勉强可用,8G显存则能相对流畅地生成图片和进行LoRA的精炼。若显卡配备12G显存,更能顺畅地使用Dreambooth微调大模型。
其次,推荐下载几款后续训练非常便捷的软件,这有助于新手降低训练难度,提高炼丹效率。我已经下载了其他Lora训练丹炉,尽管尚未使用,但对于感兴趣的小伙伴,也可以自行尝试下载并使用。
1、秋叶大佬Stable Diffusion WebUI整合包
2、BooruDatasetTagManager用来修改标签
3、秋叶大佬LoRA训练器SD-Trainer
4、Additional Network Stable-Diffusion插件
三、实操训练
训练大致分为六个步骤
明确目标
搜集素材
素材整理
调整参数
启动训练
评估反馈
1、明确目标
在准备进行LoRA模型的训练之前,我们首先需要明确自己想要训练的Lora类型。有的博主将模型分成了几个主要的类别,包括人物角色、画风/风格、概念、服饰、物体/特定元素等。
我将其简化为两个大类别:具象类和泛化类。具象类包括一些具体的事物,比如一个物体、一种姿势、一种服装、一个人物、某个特定元素等。而泛化类则包括一些抽象的概念,如某种场景、某种艺术风格、色彩风格等。
在训练初期明确定义目标,有助于更好地确定所需素材的数量以及选择合适的大模型类型,为后续的具体训练奠定了坚实的基础。
2、搜集素材
主要有两个方面:「大模型的选择」和「图片质量」是在素材收集过程中至关重要的两个方面!
在素材收集的阶段,我们依然按照第一步中的训练目标,划分为具象类和泛化类。
(1)Lora(具象类)
数量:并不是越多越好,一般建议保持在20张左右。
素材要求:需要具备不同角度、不同背景、不同姿势、不同服饰的清晰无遮挡的图片。避免使用过于同质化的素材,以免引起权重偏移。
整理和输出教程属实不易,觉得这篇教程对你有所帮助的话,可以点击
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。