训练dreambooth_dreambooth loss is nan

主要过程：

下载模型，准备图像，bash 运行以下代码

export MODEL_NAME="CompVis/stable-diffusion-v1-4"
export INSTANCE_DIR="path-to-instance-images"
export CLASS_DIR="path-to-class-images"
export OUTPUT_DIR="path-to-save-model"
 
accelerate launch train_dreambooth.py \
  --pretrained_model_name_or_path=$MODEL_NAME  \
  --instance_data_dir=$INSTANCE_DIR \
  --class_data_dir=$CLASS_DIR \
  --output_dir=$OUTPUT_DIR \
  --with_prior_preservation --prior_loss_weight=1.0 \
  --instance_prompt="a photo of sks dog" \
  --class_prompt="a photo of dog" \
  --resolution=512 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=2 --gradient_checkpointing \
  --use_8bit_adam \
  --learning_rate=5e-6 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --num_class_images=200 \
  --max_train_steps=800

参考：

http://github.com/ShivamShrirao/diffusers.git examples/dreambooth/README.md 

训练起来了：

其中问题：

1、采集图像：数据量100左右就行

iphone拍照的jpeg图像PIL不能正确读取，需要处理下。

2、step可以设置成800～10000以内应该都能接受。

3、gcc 4.8.5（4.9）以下的会出现torch_extension安装失败，升级gcc

sudo yum install centos-release-scl
sudo yum install devtoolset-7-gcc*
scl enable devtoolset-7 bash
which gcc
gcc --version