基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)

基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3：

deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py \
    --deepspeed ds_config.json \
    --stage sft \
    --model_name_or_path models/chatglm3-6b \
    --do_train \
    --dataset aaa,bbb\
    --template chatglm3 \
    --finetuning_type lora \
    --lora_target query_key_value \
    --output_dir output/aaabbbccc/ \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 200 \
    --learning_rate 5e-5 \
    --num_train_epochs 200 \
    --plot_loss \
    --overwrite_output_dir True \
    --fp16


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

其中，ds_config.json用的是LLaMA-Factory的github中给出的默认配置。但一直报错：Caught signal 7 (Bus error: nonexistent physical address)。

最终在这里看到别人的讨论（https://github.com/huggingface/transformers-bloom-inference/issues/16），得到启发，用df -h查看，确实是/dev/shm内存太小。因为笔者是用docker image来运行的，所以无法直接通过remount来修改其内存大小。

最终发现，通过下面这个命令来启动docker image，就能增大/dev/shm的内存，然后就能成功运行上面这个deepspeed的多GPU训练命令。

docker run -it --shm-size 6G image_name /bin/bash