在linux服务器上部署通义千问国产的多模态大模型_多模态模型部署

这个步骤很简单 一步一步来就能部署！

1.新建一个虚拟环境

conda create -n qwen python=3.9
1

2.将github上的qwen模型代码，下载到服务器。链接：代码地址
3.cd 到Qwen-VL-master文件夹，激活环境。
4.安装项目运行需要的依赖。

pip install -r requirements.txt
1

5.安装pytorch，从官网安装，我安装的torch版本是2.2.1，cuda是12.1版本的，这个大家可以根据自己的显卡情况安装,用torch官网给的命令安装。

pip3 install torch torchvision torchaudio
1

6.安装demo的依赖。

pip install -r requirements_web_demo.txt
1

7.运行python web_demo_mm.py，这时会出来一个报错，如下图。

8.根据报错信息的最后一行，他说在/root/.cache/modelscope/hub/qwen/Qwen-VL-Chat这个目录下没有找到模型文件，我们需要到huggingface上去下载Qwen-VL-Chat这个模型到报错的目录即可。
9.重新运行python web_demo_mm.py，如果运行成功则会展示下面的界面。