大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践

大模型部署一

1. 先安装Python解释器

sudo apt update
sudo apt upgrade
sudo apt install python3
1
2
3

创建.py文件,并写入代码

touch download_model.py
1

然后运行

python3 ./download_model.py
1

接着使用git命令克隆llama.cpp项目

编译llama.cpp项⽬

但是这里出现了ccache的错误，去github上查找解决办法，发现改为make LLAMA_NO_CCACHE=1可以解决

然后加载模型并执行

随后进行问答测试

大模型部署二 基于OpenVINO的模型量化实践

1. 创建⽬录qwen-ov，创建requirement.txt文件。
   

2. 从https://github.com/OpenVINO-dev-contest/Qwen2.openvino中获取requirement.txt文件的代码。
   

3. 创建Python 虚拟环境

python -m venv qwenVenv
source qwenVenv/bin/activate
1
2

4. 安装依赖的包

pip install wheel setuptools 
pip install -r requirements.txt 
1
2

5. 下载模型(下载路径改为你自己的路径）

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat--local-dir {your_path}/Qwen1.5-0.5B-Chat
1
2

6. 从github上获取文件
   
   

7. 转换模型(改为你自己的路径)

python3 convert.py --model_id Qwen/Qwen1.5-0.5B-Chat --precision int4 --output {your_path}/Qwen1.5-
0.5B-Chat-ov
1
2

9. 加载模型并执⾏(改为你自己的路径)

python3 chat.py --model_path {your_path}/Qwen1.5-0.5B-Chat-ov --max_sequence_length 4096 --device CPU
1

10. 测试
    
    
    

总结

本实验的主要目标是完成大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践。通过此次实验，我对大模型的部署和优化有了更深入的理解和实践经验。

1. 模型下载和项目编译是大模型部署的基础环节。通过下载Qwen1.5-0.5B-Chat模型和编译llama.cpp项目，我掌握了如何获取和准备大模型所需的基础文件和工具。

2. 基于OpenVINO的模型量化是本次实验的一个重点。通过将模型转换为int4精度，我了解了模型量化的基本步骤和原理。这一过程不仅可以显著减少模型的计算量和内存占用，还可以提高模型的推理速度，为实际应用中的高效部署提供了可能性。

3. 使用魔搭平台的免费CPU资源进行模型部署，使我体会到了云计算资源在大模型应用中的重要性。通过在Jupyter Notebook中进行模型部署和测试，我熟悉了如何高效地利用云平台提供的计算资源。

4. 在实验过程中，记录和总结是不可或缺的一部分。通过撰写Markdown文档，我提升了自己的文档编写能力和技术传播能力。这不仅有助于巩固所学知识，还能为其他技术爱好者提供参考和借鉴。

总体而言，这次实验让我在大模型部署和优化方面收获颇丰。通过理论与实践的结合，我不仅加深了对相关技术的理解，也积累了宝贵的实战经验。未来，我将继续关注大模型领域的最新进展，不断提升自己的技术水平。