Mac 部署 llamafile 大语言模型LLM

作者：繁依Fanyi0 | 2024-04-18 19:14:49

踩

llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型（LLM），它包含了给定的开放 LLM 的权重，以及运行该模型所需的一切。让人惊喜的是，你无需进行任何安装或配置。
在这里插入图片描述

Github

# 执行权限
chmod +x llava-v1.5-7b-q4.llamafile
# 运行 llama
./llava-v1.5-7b-q4.llamafile -ngl 9999
1
2
3
4

在这里插入图片描述

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/447771