当前位置:   article > 正文

本地搭建大模型知识库Ollama+AnythingLLM(保姆级)_anythingllm 不识别本地的ollama

anythingllm 不识别本地的ollama

安装OLLAMA

好多同学不知道怎么下载需要用到的工具,我这里给大家都准备好了,需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型,7B大模型,7亿参数,至少需要8G内存,越大回复越流畅,

下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,不能选择安装路径的哦,安装完后,右下角会出现Ollama图标。

创建环境变量

OLLAMA_MODELS,随意指定变量值,如图所示:

OLLAMA_MODELS

重启OLLAMA

选择右键小图标,然后退出,

在开始菜单中找到重启Ollama

重启后目录如下:

创建Modelfile

在blobs下创建Modelfile文件,没有后缀。

加载模型

1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下,和ModelFile同目录(不一定非要同目录,如果放到其他地方,以下路径随着更改就行)

FROM ./qwen7b.gguf

2、在Modelfile所在路径输入cmd,然后回车:

3、执行命令

ollama create qwen -f Modelfile.txt

等待差不多10分钟,出现success表示成功。

成功后的目录

查看模型

ollama list

运行模型

ollama run  qwen

运行成功的窗口如下:

这样就可以开始对话了

安装包获取

在使用的过程中会遇到很多问题,而且很多问题在网上找不到答案,因此我给大家搭建了一个环境,建了一个群,相关安装包都在里面了,专门沟通AI大模型领域,非诚勿扰!扫码请备注“大模型”,带其他目的人请走开,二维码文末名片中。

下一篇将讲解如何通过结合ollama+AnythingLLM搭建企业自己的知识库

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/653555
推荐阅读
相关标签
  

闽ICP备14008679号