赞
踩
在安装这个插件之前,我已经安装了SDXL webui,tagger插件,具体安装操作可以参考之前的文章: SDXL webui、tagger插件。
之前已经安装了tagger插件,用来反推训练图像的提示词,接下来,我们可以利用dreambooth插件来训练我们的LoRA模型了。
只需在webui中的extensions下输入https://github.com/d8ahazard/sd_dreambooth_extension
就可以了。
自动安装完后,如果linux终端出现以下信息:
一般是bitsandbytes
包没有安装下来,可能是默认安装windows版本的,那我们自己手动安装即可:
pip install bitsandbytes==0.41.1 --target /stable-diffusion-webui/venv/lib/python3.10/site-packages/
--target
是为了将其安装到SD webui的虚拟环境的路径下。
我这里是直接以SDXL为底模型,没有用C站上很火的其他模型来训练LoRA。
在训练LoRA要用到SDXL的tokenizer等文件,一般webui会自动下载,但是因为我这里的Linux服务器没有设代理,huggingface又被墙了,所以需自己手动下载。
dreambooth在训练以SDXL为底模的LoRA时,会加载两个tokenizer和两个text_encoder,建议用sdxl-base-1.0模型来训练,因为效果更好的sdxl-refiner-1.0的huggingface仓库只提供了tokenizer_2,text_encoder_2。
(PS:我之前想将base的tokenizer,text_encoder用到refiner上,但是会在线性层的维度上报错,暂时没有深究网络结构,所以不敢枉然修改,保险起见用base版本)
首先,在/stable-diffusion-webui/models/dreambooth/
,新建一个文件,文件名就是你的LoRA模型名称,在该文件夹下新建一个working文件夹,用来存放下载的文件
cd /stable-diffusion-webui/models/dreambooth/
mkdir Your_LoRA_name
cd Your_LoRA_name
mkdir working
然后对应下图,在sdxl-base-1.0仓库下载以下文件:
考虑到节省储存空间,vae、unet文件夹下的预训练模型,可以只下载safetensors文件。
敲黑板!!!
记得一定要完全按照仓库里的文件命名,不要自己随意修改。在下载文件夹里的文件时,文件命名似乎会默认加上文件夹的名称,比如,text_encoder
文件夹中有个config.json
文件,下载完后会变成text_encoder_config.json
,自己要去掉前面的text_encoder_
,如果不一样,会造成之后训练时会因为读取不到而报错。
至此,就安装完毕了。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。