当前位置:   article > 正文

llama.cpp运行qwen0.5B_qwen 0.5b微调

qwen 0.5b微调

编译llama.cp

参考

下载模型

05b模型下载

转化模型

创建虚拟环境

conda create --prefix=D:\miniconda3\envs\llamacpp python=3.10
conda activate D:\miniconda3\envs\llamacpp
  • 1
  • 2

安装所需要的包

在这里插入图片描述

cd G:\Cpp\llama.cpp-master
pip install -r requirements.txt
python convert.py -h
  • 1
  • 2
  • 3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
执行转换命令

# python convert.py G:\Python\Qwen1.5-0.5B-Chat --outfile G:\Cpp\qwenchat0.5b.gguf --outtype q8_0

python convert-hf-to-gguf.py G:\Python\Qwen1.5-0.5B-Chat  --outfile G:\Cpp\qwenchat0.5b.gguf
# 解释
# python 
# convert.py # convert.py路径
# /content/finetuned-2_merged # 模型路径
# --outfile finetuned-2.gguf # 要分配的gguf模型名称
# --outtype q8_0 #以8 Bit量化
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

将模型量化为5Bit(使用q5_k-m方法)

quantize.exe G:\Cpp\qwenchat0.5b.gguf qwenchat0.5b-q5_k_m.gguf q5_k_m
# 4bit,基本不太行
# quantize.exe G:\Cpp\qwenchat0.5b.gguf qwenchat0.5b-q4_0.gguf q4_0
  • 1
  • 2
  • 3

在这里插入图片描述
在这里插入图片描述

控制台运行模型

# 注意Qwen模型要使用chatml prompt 模版
main.exe -m qwenchat0.5b-q5_k_m.gguf -n 512 --chatml
  • 1
  • 2

在这里插入图片描述

http方式运行模型

server.exe -m qwenchat0.5b-q5_k_m.gguf -c 2048 --host 0.0.0.0 --port 8007

curl --request POST --url http://localhost:8007/completion --header "Content-Type: application/json" --data '{"prompt": "你好","n_predict": 128}'
  • 1
  • 2
  • 3

页面的话访问8007即可
在这里插入图片描述

server参数解释
尝鲜通义千问1.8B
参考
hf2gguf

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/运维做开发/article/detail/836055
推荐阅读
相关标签
  

闽ICP备14008679号