【你好！我是MOSS】从0开始搭建本地MOSS智能机器人_moss-003-sft-data
赞
踩
前提条件：需要单张A100或A800显卡，或两张3090显卡，或者以上规模。
以下正文：远程到GPU服务器，本地使用的是Centos 7.5系统环境。然后查看显卡信息
查看显卡显存等其他信息，一共8张GTX3080TI显卡，96G显存，应该是够用了。
下载moss项目到本地
git clone https://github.com/OpenLMLab/MOSS.git本文原文，出自我个人的公众号【Dotnet Dancer】，地址：
git clone报错，可能是第一次使用，git 版本有问题，先卸载
yum remove git
安装git 依赖包们
- yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc -y
- yum install gcc perl-ExtUtils-MakeMaker -y
查看git版本列表
https://mirrors.edge.kernel.org/pub/software/scm/git
下载指定的版本，例如最新版 git-2.39.2.tar.gz
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.39.2.tar.gz
报错了，根据提示进行改造一下，为了以防万一，git版本下载低一点的，例如2.28.0
解压和创建git安装文件夹
- tar -zxf git-2.28.0.tar.gz
- mkdir -p ~/local/git
- cd git-2.28.0/
- ./configure --prefix=$HOME/local/git
编译与安装git
make && make install
设置环境变量和查看当前版本
- export PATH=$HOME/local/git/bin:$PATH
- git version
重新拉取代码
可能是网络原因，或者其他某些原因，一直无法拉取成功
只能使用工具传上去，例如 winSCP。先把moss库git clone到本地，然后通过工具传输到远程服务器上。
MOSS项目现在在服务器上了
把默认的torch版本改为1.13.1版本或者其他高版本也行【备注：现在最新的代码库，已经修复了低版本问题，该步骤可以省略】
进行安装moss依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
安装pip
- yum install epel-release
- yum install -y python-pip
验证pip，检查版本通过即可。
需要conda环境，先安装anaconda,例如我找个最新版进行安装
https://repo.anaconda.com/archive/
焦急地等待中……下载有点慢，让它跑一会儿
下载失败，只好本地下载再传送过去了
传输成功，在路径下可以看见ananconda安装包了
安装anaconda
sh Anaconda3-2023.03-1-Linux-x86_64.sh
配置anaconda环境变量
获取到ananconda安装的路径
配置环境变量
vim ~/.bashrc把anaconda的bin目录添加到环境变量里面去
输入 conda没有报错，代表环境安装完成
创建conda环境
- conda create --name moss python=3.8
- conda activate moss
现在重新安装文件里面的依赖，可以通过python3来安装了。先前应该是本地只有python2环境导致的匹配不到高版本的包
pip3 install -r requirements.txt
如果下载太慢，就换一个国内镜像站，例如清华镜像站，速度马上飞起
-i https://pypi.tuna.tsinghua.edu.cn/simple
运行demo代码，首次运行会下载模型，大约30G左右
python moss_cli_demo.py
模型下载失败，一断回到解放前……
改下下载超时规则，找到 huggingface_hub下面的_http.py代码进行修改
requests.exceptions包导入额外的功能，可参考自行比对，可能有差异，不够就补。
from requests.exceptions import ConnectTimeout, ProxyError,SSLError,Timeout以及超时时间、重试等都设置大一点。
重新走一个，发现好像不明所以地变快了？？？
最终还是下载失败，于是上hugging face下载到本地，然后再传输到服务器上。Fugging face所在模型地址：
https://huggingface.co/fnlp/moss-moon-003-sft/tree/main
丢到MOSS下的fnlp文件夹下：
最后重新运行demo代码，显示运行通过。
【注意事项】demo源码一些代码，可能需要自己更改默认参数。可以通过vim打开进行更改，此处不演示。
不过在对话过程中，报错了，显示RuntimeError: No CUDA GPUs are available
开始解决RuntimeError: No CUDA GPUs are available错误
先验证下cuda是否生效，写个python代码进行输出
验证显卡，发现显卡驱动没了
先确认下显卡还在不在，以及旧版显卡驱动，如果有旧版驱动，先卸载旧版驱动
- lspci | grep -i nvidia
- yum remove "*nvidia*"
也检查下驱动的一些其他依赖，例如 cuda、cublas等。发现没查出来，就代表没有。有的话也要进行移除。
下载最新版驱动
https://www.nvidia.cn/Download/index.aspx?lang=cn
下载以后，放到服务器上，进行安装。
发现权限可能不够，授予权限
chmod 777 NVIDIA-Linux-x86_64-525.116.03.run
检查nouveau驱动是否禁用，安装显卡前需要先禁用。
lsmod | grep nouveau如果有输出，代表已启动。
vim /lib/modprobe.d/dist-blacklist.conf
在文件末尾新增两行
- blacklist nouveau
- options nouveau modeset=0
备份initramfs：
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
重新建立initramfs
dracut -v /boot/initramfs-$(uname -r).img $(uname -r)
重启以后，该驱动没输出了，说明驱动屏蔽完毕。
开始安装
./NVIDIA-Linux-x86_64-525.116.03.run -no-x-check
有一些检查项，直接默认
安装完毕以后，检查显卡，可以出来了
安装cuda环境
Nvidia安装文档链接
https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)
选择下载的版本
https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=CentOS&target_version=7&target_type=rpm_network
根据提示的内容，进行相关操作
yum-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
安装dkms驱动
- yum clean all
- yum -y install nvidia-driver-latest-dkms
安装cuda环境
yum -y install cuda
Cuda安装完成
测试一下环境
nvcc -V
发现还是没有命令，但是在 /usr/local/cuda下面是有文件的，说明可能是环境变量没配置
修改配置文件
vim ~/.bashrc
最末尾新增
- export LD_LIBRARY_PATH=/usr/local/cuda/lib
- export PATH=$PATH:/usr/local/cuda/bin
sourse一下，重新输入 nvcc -V 即可看到cuda版本信息，说明cuda环境OK了。
本文原文，出自我个人的公众号【Dotnet Dancer】，地址：
重新启动服务器，进入激活moss环境，通过输入python代码重新验证一下，发现已经通过：
重新运行demo代码，运行成功，输入内容进行对话测试，结果如下图运行所示
OK，本地部署到此结束。
本文原文，出自我个人的公众号【Dotnet Dancer】，地址：
