赞
踩
好多同学不知道怎么下载需要用到的工具,我这里给大家都准备好了,需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型,7B大模型,7亿参数,至少需要8G内存,越大回复越流畅,
下载完后,双击OllamaSetup,自动安装成功,默认安装在C盘,不能选择安装路径的哦,安装完后,右下角会出现Ollama图标。
OLLAMA_MODELS,随意指定变量值,如图所示:
OLLAMA_MODELS |
选择右键小图标,然后退出,
在开始菜单中找到重启Ollama
在blobs下创建Modelfile文件,没有后缀。
1、将qwen7b.gguf模型放到F:\Ollama\models\blobs目录下,和ModelFile同目录(不一定非要同目录,如果放到其他地方,以下路径随着更改就行)
FROM ./qwen7b.gguf |
2、在Modelfile所在路径输入cmd,然后回车:
3、执行命令
ollama create qwen -f Modelfile.txt |
等待差不多10分钟,出现success表示成功。
ollama list |
ollama run qwen |
运行成功的窗口如下:
这样就可以开始对话了
我们接着讲解,如何通过AnythingLLM实现友好对话的
双击安装包,它会自动安装完成
这是安装后的界面
接下来我们设置一下ollama配置,anythingllm是一个前端,ollama是一个运行大模型的后台,我们现在需要通过anyhtingllm去调用后台接口,方便我们实现友好对话
llmProvider这里选择Ollama,后台访问接口地址url默认为:http://127.0.0.1:11434 ,模型我们选择llama3中文版,也可以选择已经安装的模型qwen,token默认即可,如下图所示:
选择lanceDB即可
接下来我们测试一下
在使用的过程中会遇到很多问题,而且很多问题在网上找不到答案,因此我给大家搭建了一个环境,建了一个群,相关安装包都在里面了,专门沟通AI大模型领域,非诚勿扰!扫码请备注“AI”,带其他目的人请走开。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。