当前位置:   article > 正文

llama.cpp LLM模型 windows cpu安装部署;运行LLaMA2模型测试_llama2 在windows系统下运行

llama2 在windows系统下运行

参考:
https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/
https://blog.csdn.net/qq_38238956/article/details/130113599

cmake windows安装参考:https://blog.csdn.net/weixin_42357472/article/details/131314105

llama.cpp下载编译

1、下载:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
  • 1
  • 2

2、编译

mkdir build
cd build
cmake ..
cmake --build . --config Release
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

3、测试运行

cd bin\Release
./main -h
  • 1
  • 2

在这里插入图片描述

运行LLaMA-7B模型测试

参考:
https://zhuanlan.zhihu.com/p/638427280

模型下载:
https://huggingface.co/nyanko7/LLaMA-7B/tree/main
下载下来后在llama.cpp-master\mode

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/81350
推荐阅读
相关标签
  

闽ICP备14008679号