当前位置:   article > 正文

大模型Qwen1.5-0.5B-Chat的部署,并基于OpenVINO进行模型量化实践

qwen1.5-0.5b-chat
大模型部署一
  1. 先安装Python解释器
sudo apt update
sudo apt upgrade
sudo apt install python3
  • 1
  • 2
  • 3

在这里插入图片描述
创建.py文件,并写入代码

touch download_model.py
  • 1

在这里插入图片描述
然后运行

python3 ./download_model.py
  • 1

在这里插入图片描述
接着使用git命令克隆llama.cpp项目

在这里插入图片描述
编译llama.cpp项⽬
在这里插入图片描述
但是这里出现了ccache的错误,去github上查找解决办法,发现改为make LLAMA_NO_CCACHE=1可以解决

然后加载模型并执行
在这里插入图片描述
随后进行问答测试
在这里插入图片描述
在这里插入图片描述

大模型部署二 基于OpenVINO的模型量化实践
  1. 创建⽬录qwen-ov,创建requirement.txt文件。
    在这里插入图片描述

  2. https://github.com/OpenVINO-dev-contest/Qwen2.openvino中获取requirement.txt文件的代码。
    在这里插入图片描述

  3. 创建Python 虚拟环境

python -m venv qwenVenv
source qwenVenv/bin/activate
  • 1
  • 2

在这里插入图片描述

  1. 安装依赖的包
pip install wheel setuptools 
pip install -r requirements.txt 
  • 1
  • 2

在这里插入图片描述

  1. 下载模型(下载路径改为你自己的路径)
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat--local-dir {your_path}/Qwen1.5-0.5B-Chat
  • 1
  • 2

在这里插入图片描述

  1. 从github上获取文件
    在这里插入图片描述
    在这里插入图片描述

  2. 转换模型(改为你自己的路径)

python3 convert.py --model_id Qwen/Qwen1.5-0.5B-Chat --precision int4 --output {your_path}/Qwen1.5-
0.5B-Chat-ov
  • 1
  • 2

在这里插入图片描述

  1. 加载模型并执⾏(改为你自己的路径)
python3 chat.py --model_path {your_path}/Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device CPU
  • 1

在这里插入图片描述

  1. 测试
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

总结

本实验的主要目标是完成大模型Qwen1.5-0.5B-Chat的部署,并基于OpenVINO进行模型量化实践。通过此次实验,我对大模型的部署和优化有了更深入的理解和实践经验。

  1. 模型下载和项目编译是大模型部署的基础环节。通过下载Qwen1.5-0.5B-Chat模型和编译llama.cpp项目,我掌握了如何获取和准备大模型所需的基础文件和工具。

  2. 基于OpenVINO的模型量化是本次实验的一个重点。通过将模型转换为int4精度,我了解了模型量化的基本步骤和原理。这一过程不仅可以显著减少模型的计算量和内存占用,还可以提高模型的推理速度,为实际应用中的高效部署提供了可能性。

  3. 使用魔搭平台的免费CPU资源进行模型部署,使我体会到了云计算资源在大模型应用中的重要性。通过在Jupyter Notebook中进行模型部署和测试,我熟悉了如何高效地利用云平台提供的计算资源。

  4. 在实验过程中,记录和总结是不可或缺的一部分。通过撰写Markdown文档,我提升了自己的文档编写能力和技术传播能力。这不仅有助于巩固所学知识,还能为其他技术爱好者提供参考和借鉴。

总体而言,这次实验让我在大模型部署和优化方面收获颇丰。通过理论与实践的结合,我不仅加深了对相关技术的理解,也积累了宝贵的实战经验。未来,我将继续关注大模型领域的最新进展,不断提升自己的技术水平。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/870619
推荐阅读
相关标签
  

闽ICP备14008679号