llama.cpp：llama模型c语言推理@FreeBSD_llama c语言

llama中文名羊驼，Meta AI推出的一款大型语言模型，其性能在多个自然语言处理任务上表现优异是一个非常棒的自然语言生成模型。

llama.cpp是一个使用c语言推理llama的软件包，它支持FreeBSD、Linux等多种平台。

GitHub - ggerganov/llama.cpp: LLM inference in C/C++

源码编译安装 

下载源码

git clone https://github.com/ggerganov/llama.cpp

编译

mkdir build
cd build
cmake ..
cmake --build . --config Release

大约只需要10-20分钟就能编译好，速度很快！

FreeBSD里默认是没有sudo的，用root账户将编译好的文件放入/usr/bin又担心干干扰，所以使用加环境变量的方法解决安装问题。

创建env.sh文件，文件内容：

export PATH=/home/skywalk/github/llama.cpp/build/bin:$PAT

每次使用前执行source env.sh即可。

之所以不放入.cshrc或者.bashrc，也是不想让它影响整个系统。毕竟后面可能安装其它模型。

下载模型文件

llama中文模型

官网：GitHub - ymcui/Chinese-LLaMA-Alpaca-2: 中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

可以通过百度和谷歌网盘下载模型文件

下载地址：

以下是完整版模型，直接下载即可使用，无需其他合并步骤。推荐网络带宽充足的用户。