LLM：Vicuna 13B 环境配置(7B需要14G显存，13B需要28G显存）_13b模型 需要多大的显存

租用服务器3090

配置Fastchat
  GitHub项目源地址：https://github.com/lm-sys/FastChat

先进行依赖包安装

pip3 install fschat

下载项目到本地，慢的话可以自己下载好通过FTP上传到服务器

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

升级pip并安装依赖包

# 不升级pip会报错，下面两种方式二选一
python3 -m pip install --upgrade pip # 方式一
pip3 install --upgrade pip     # 方式二
 
# 升级之后运行下面命令进行安装
pip3 install -e .

配置transformers

# 下载transformers包
git clone https://github.com/huggingface/transformers.git
 
# 进入transformers目录
cd transformers
 
# 安装transformers
pip3 install -e .

上传模型权重——使用阿里云盘上传到数据盘（自己提前下载模型权重并保存到自己的阿里云盘）

 启动vicuna-13b模型

# 显卡有28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b 
 
# 显卡不足28G显存用此命令
python3 -m fastchat.serve.cli --model-path /root/autodl-tmp/vicuna-13b --load-8bit 
 
# /root/autodl-tmp/vicuna-13b 为模型权重路径，可以根据自己的情况替换为自己的路径

运行成功（7B和33B部署流程也一样，只是每个模型所需要的显存不一样，需要不同配置的显卡）