(Qwen)通义千问大模型安装部署教程2024最新_qwen2部署

作者：喵喵爱编程 | 2024-06-22 17:00:37

踩

qwen2部署

1.简介（摘自modelscope/通义千问1.5-0.5B-Chat-GGUF）

Qwen1.5 是 Qwen2 的测试版，Qwen2 是一种基于 Transformer 的纯解码器语言模型，在大量数据上进行了预训练。与之前发布的 Qwen 相比，改进包括：

6 种型号尺寸，包括 0.5B、1.8B、4B、7B、14B 和 72B;
人类对聊天模型的偏好显著提高;
对基本模型和聊天模型的多语言支持;
稳定支持 32K 上下文长度，适用于各种尺寸的模型
不需要 trust_remote_code .

注意：本教程基于Ubuntu系统，其他系统请遵循语法使用。

2.部署通义千问1.5-0.5B-Chat-GGUF流程

2.1下载模型代码

下载代码地址:魔搭社区

附上代码:


from modelscope.hub.file_download import model_file_download
 	
model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-Chat-GGUF',file_path='qwen1_5-0_5b-chat-q5_k_m.gguf',revision='master',cache_dir='path/to/local/dir')

用jupyter notebook运行代码，或者在命令行中使用python download_model.py 来运行代码。

2.2下载llama.cpp

使⽤git命令克隆llama.cpp项⽬

git clone https://github.com/ggerganov/llama.cpp

克隆完成之后我们进入llama.cpp目录中，对项目进行编译


cd llama.cpp
make -j

2.3加载模型并运行

./main -m /mnt/workspace/home/llm/qwen/Qwen1.5-0.5B-Chat-GGUF/qwen1_5-0_5b-chatq5_k_m.gguf -n 512 --color -i -cml

提醒：此处需要注意将模型的地址换为你自己的文件地址，否则将无法找到模型。

等待片刻后，模型成功加载，如果需要退出，请按Ctrl+C。

接下来我们对部署的模型进行对话测试：

上图为已部署的通义千问1.5-0.5B-Chat-GGUF模型对话测试

3.部署Qwen2.openvino流程

1.环境配置

首先到github去下载安装需要的文件，附github链接

GitHub - OpenVINO-dev-contest/Qwen2.openvino: This sample shows how to deploy Qwen2 using OpenVINO

下载

requirements.txt
chat.py
convert.py

接着，我们创建Python的虚拟环境，在Ubuntu的命令行中输入


python -m venv qwenVenv
source qwenVenv/bin/activate

当我们的命令行语句前出现:(qwenVenv)时，代表已经创建好。

最后安装依赖的包，此时requirements.txt文件被使用。


pip install wheel setuptools
pip install -r requirements.txt

这时，基本的环境已经配置完成。

2.模型下载

配置镜像服务器来加快下载速度

export HF_ENDPOINT=https://hf-mirror.com

下载模型


huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat --
local-dir {your_path}/Qwen1.5-0.5B-Chat

此时，Qwen1.5-0.5B-Chat已经被部署好。

3.转换模型


python3 convert.py --model_id Qwen/Qwen1.5-0.5B-Chat --precision int4 --output {your_path}/Qwen1.5-
0.5B-Chat-ov

4.加载模型

python3 chat.py --model_path {your_path}/Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device CPU

5.对话测试

4.结语

本教程是基于大连理工大学软件学院教授胡燕所编写的实验教程所编写，如有错误，恳请指出。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/747108