当前位置:   article > 正文

Ollama 通过GGUF 文件本地运行任何开源大模型_ollama gguf

ollama gguf

Ollama 可以在本地运行任何开源大模型 只要下载到 GGUF 文件(相当于压缩的大模型)

**
1、下载 GGUF --》Hugging Face 里搜索下载 (baichuan gguf、qwen gguf)

2、下载文件到本地后 然后在同目录创建一个 txt 文建
文件类容的意思:告诉Ollama 去哪里找到文件

3、打开ollama 终端输入:ollama create baichuan2-7b -f Modelflie.txt
创建一个新的模型文件 名字 【baichuan2-7b】 使用 读取 Modelflie.txt 文件

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/498388
推荐阅读
相关标签
  

闽ICP备14008679号