全量微调Llama2-7b遇到的错误(stanford_alpaca)_bash pretrain_llama2_7b_distributed_zl200_raise childfailederror( torch.distributed.elastic.

项目地址： GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford’s Alpaca models, and generate the data.Code and documentation to train Stanford’s Alpaca models, and generate the data. - tatsu-lab/stanford_alpacahttps://github.com/tatsu-lab/stanford_alpaca

二、报错：ImportError: cannot import name ‘openai_object’ from ‘openai’

openai的版本不对，更换版本

pip install openai==0.28.0

三、报错：google.protobuf.message.DecodeError: Error parsing message

• 加载Tokenizer报 google.protobuf.message.DecodeError: Error parsing message 这个错误

错误代码（修改前）：

tokenizer = transformers.AutoTokenizer.from_pretrained(
        model_args.model_name_or_path,
        cache_dir=training_args.cache_dir,
        model_max_length=training_args.model_max_length,
        padding_side="right",
        use_fast=False,
    )
1
2
3
4
5
6
7

修改后：去掉 use_fast=False

tokenizer = transformers.AutoTokenizer.from_pretrained(
        model_args.model_name_or_path,
        cache_dir=training_args.cache_dir,
        model_max_length=training_args.model_max_length,
        padding_side="right"
    )
1
2
3
4
5
6

四、报错 torch.distributed.elastic.multiprocessing.errors.ChildFailedError（exitcode返回不是-9）

• 报这个错误原因有很多，错误点不在这里，应该看上面的错误提醒，上面的错误才是真正需要解决的，在分布式训练中，子进程只要报错，主进程总是可以看到torch.distributed.elastic.multiprocessing.errors.ChildFailedError这个错误，因此解决方法可以先把gpu其他节点关掉，使用一个节点去分析终端报的错误，然后去解决

例如：

Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
[2024-02-09 11:04:21,257] torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: 1) local_rank: 0 (pid: 14644) of binary: /usr/bin/python3
Traceback (most recent call last):
File "/usr/local/bin/torchrun", line 8, in
sys.exit(main())
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/elastic/multiprocessing/errors/init.py", line 346, in wrapper
return f(*args, **kwargs)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 806, in main
run(args)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 797, in run
elastic_launch(
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 134, in call
return launch_agent(self._config, self._entrypoint, list(args))
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 264, in launch_agent
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

红框里才是报错的真正原因，有可能是openai包版本问题，需要更改openai包的版本

五、报错：torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank（exitcode返回是-9）

• 初步判定，cpu内存OOM造成的，gpu显存不够，ZeRO3卸载参数至cpu，cpu显存不够发生OOM。

个人解决方式(仅参考)，详细放置github：​​​​​​​​​​​​​​

ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0 · Issue #245 · tatsu-lab/stanford_alpaca · GitHubI am trying to re-train alpaca on the following machine: ±----------------------------------------------------------------------------+ | NVIDIA-SMI 525.105.17 Driver Version: 525.105.17 CUDA Version: 12.0 | |---------------------------…https://github.com/tatsu-lab/stanford_alpaca/issues/245

可能是由于GPU或RAM内存不足造成的
一开始也遇到了这个问题，我的配置是这样的

• torch：2.2.1
• cuda：12.1
• cudnn：8
• python：3.10
• GPU：A40 48G​​​​​​​ （开启 deepspeed ，使用 ZerO3，bf16)
• RAM：52G
• model：Llama-2-7b-chat-hf

后来更改了配置可以工作了，配置如下：

• CPU num：56
• RAM size: 256G
• GPU: V100 16G * 8

开启了deepspeed，因为V100不支持关闭了bf16 TF32，使用fp16
因此需要对官方的bash和deepspeed的json进行修改：

{ 
    // 新增 fp16 配置
  "fp16": {              // FP16训练设置，减少内存使用，加速训练，但需注意精度控制。
    "enabled": "auto",   // 是否启用FP16训练，auto表示自动决定。
    "loss_scale": 0,     // 损失缩放值，0表示自动调整，用于防止梯度下溢。
    "loss_scale_window": 1000,  // 自动调整损失缩放值的窗口大小。
    "initial_scale_power": 16,  // 初始损失缩放值的幂级。
    "hysteresis": 2,            // 延迟增加损失缩放值的迭代次数。
    "min_loss_scale": 1        //  允许的最小损失缩放值。
  },                     
  "bf16": {                    // BF16训练设置，类似于FP16但在某些硬件上更优。
    "enabled": "auto"          // 是否启用BF16训练，'auto'表示自动决定。
  },
  "optimizer": {               // 优化器设置。
    "type": "AdamW",            // 优化器类型，AdamW是一种常见的优化算法。
    "params": {
      "lr": "auto",             // 学习率，auto表示自动调整。
      "betas": "auto",
      "eps": "auto",
      "weight_decay": "auto"
    }
  },
  "scheduler": {                // 学习率调度器设置。
    "type": "WarmupDecayLR",    // 调度器类型，用于管理学习率如何随时间变化。
    "params": {
      "total_num_steps": "auto",    // 总步数，auto表示自动计算。
      "warmup_min_lr": "auto",      // 预热期间的最小学习率，auto表示自动调整。
      "warmup_max_lr": "auto",      // 预热期间的最大学习率，auto表示自动调整。
      "warmup_num_steps": "auto"
    }
  },
  "zero_optimization": {           // ZeRO优化策略设置，用于在大型模型训练中优化内存使用。
    "stage": 3,                    // ZeRO优化的阶段，阶段3提供最大的内存优化。
    "offload_optimizer": {        
      "device": "cpu",            // 优化器状态卸载到CPU。
      "pin_memory": true           // 是否固定内存，以加速CPU至GPU的数据传输。
    },
    "offload_param": {            // 参数卸载到CPU。
      "device": "cpu",
      "pin_memory": true            // 是否固定内存，以加速CPU至GPU的数据传输。
    },
    "overlap_comm": true,            // 是否在训练过程中重叠通信和计算。
    "contiguous_gradients": true,    // 是否使梯度在内存中连续，可以提高某些操作的性能。
    "sub_group_size": 1e9,            // 用于分组参数的子集大小，以优化通信。
    "reduce_bucket_size": "auto",      // 减少操作的桶大小，auto表示自动调整。
    "stage3_prefetch_bucket_size": "auto",  // 预取桶大小，在ZeRO-3中使用，auto表示自动调整。
    "stage3_param_persistence_threshold": "auto",  // 参数持久性门槛，auto表示自动调整。
    "stage3_max_live_parameters": 1e9,        // 最大活动参数数量。
    "stage3_max_reuse_distance": 1e9,        // 最大重用距离，影响参数缓存策略。 
    "stage3_gather_16bit_weights_on_model_save": true // 在模型保存时是否收集16位权重。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

ert/9f49b566129f47b8a67243c1008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）