如何使用chatglm-6b实现多卡训练_chatglm多卡部署

作者：羊村懒王 | 2024-03-18 04:35:03

踩

chatglm多卡部署

首先先说ChatGLM-6b是支持多卡训练的，步骤如下：

1、安装 NVIDIA CUDA Toolkit：要使用多卡训练，需要安装 CUDA Toolkit。可以在 NVIDIA 官网下载适用于操作系统的 CUDA 版本。

2、确认所有的显卡都要有驱程。

3、配置多卡训练环境：在安装 CUDA Toolkit 后，需要配置多卡训练环境，配置方法如下：
在想要训练的sh文件中，第一行改为：

CUDA_VISIBLE_DEVICES=0,1,2,3 python train.py  
1

其中0是第一张显卡，1是第二张，以此类推。这个顺序要在cuda环境中配置。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/260381