windows下部署llama.cpp_windows llama cpp

下载cmake

下载地址

解压，设置Path环境变量D:\CMake\bin
打开cmd输入cmake -version

安装mingw

powershell下执行

Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
iex "& {$(irm get.scoop.sh)} -RunAsAdmin"
scoop bucket add extras
scoop bucket add main
scoop install mingw
1
2
3
4
5

安装w64devkit

去官网下载
https://www.mingw-w64.org/

github地址

双击运行w64devkit.exe，查看cmake、gcc版本

下载llama.cpp代码

下载

CMake方式
进入llama.cpp-master文件夹

mkdir build
cd build
cmake ..
cmake --build . --config Release
1
2
3
4

w64DevKit方式

cd d:
cd development/python/llama.cpp-master
make
1
2
3

编译成功

可以看到main.exe等文件

查看效果

上面的编译失败也可以选择下载编译好的
下载地址

如果安装了cuda可以选择对应的版本，如果没有选择其他windows版本即可

参考
参考