vLLM部署Qwen1.5-32B-Chat

vLLM部署Qwen1.5-32B-Chat

部署环境

操作系统：Ubuntu 20.04.2 LTS

Docker：v24.0.0

Docker Compose：v2.17.3

GPU：NVIDIA A100-SXM4-80GB

Nvidia Driver Version: 535.154.05

CUDA Version: 12.2

部署过程

模型文件下载

下载地址：通义千问1.5-32B-对话 · 模型库 (modelscope.cn)

下载方法：

• SDK下载

  #模型下载
  from modelscope import snapshot_download
  model_dir = snapshot_download('qwen/Qwen1.5-32B-Chat', cache_dir='/path/to/your/model/dir/') # cache_dir指定模型保存目录
  1
  2
  3

• Git下载

  git clone  https://www.modelscope.cn/qwen/Qwen1.5-32B-Chat.git
  1

docker镜像构建

克隆Qwen1.5仓库：

git clone https://github.com/QwenLM/Qwen1.5.git
1

构建镜像：