使用llamafile 构建本地大模型运用

作者：盐析白兔 | 2024-05-19 22:18:49

踩

llamafile

安装

大模型文件，选择列表中任意一个

wget https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true

这里选择LLaVA 多模态的


chmod +x llava-v1.5-7b-q4.llamafile 
./llava-v1.5-7b-q4.llamafile
 
# --host xx.xx.xx.xx --port 8080

默认打开http://127.0.0.1:8080 即可开始对话

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/594885