大模型在cpu上使用llama_cpp部署无法加载模型的问题_invalid magic characters 'tjgg

作者：小惠珠哦 | 2024-07-27 14:03:20

踩

invalid magic characters 'tjgg

from llama_cpp import Llama 

model = Llama(model_path="llama-2-7b-chat.ggmlv3.q4_0.bin")

错误：gguf_init_from_file: invalid magic characters 'tjgg'等，也就是无法加载模型

因为最新版的llama-cpp-python不支持ggml文件格式了

解决方案：

1、降低版本（最简单）：

pip install llama-cpp-python==0.1.78

2、直接下载对应GGUF的模型

3、利用llama.cpp内部转换函数进行转换

运行结果：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/890437