当前位置:   article > 正文

全民AI时代:手把手教你用Ollama & AnythingLLM搭建AI知识库,无需编程,跟着做就行!_ollama anythingllm

ollama anythingllm


在本地电脑上跑大语言模型(LLM),已经不是什么高科技操作了。随着技术的迭代,现在利用Ollam和AnythingLLM就可以轻松构建自己的本地知识库,人人皆可上手,有手就行。过往要达成这一目标,可是需要有编程经验的。

首先得了解一下背后的原理。大概就是三步走:一是LLM,大语言模型,懂得怎么处理自然语言。二是嵌入模型,它的工作就是把复杂的数据简化,转化成易于处理的格式。最后是向量数据库,专门存储和管理那些转化后的数据。

说实话,虽然文章有点长,但里面多是附加的资源和细节,实际上手操作真的挺简单的。感兴趣的朋友,动手试试吧,说不定用AI构建自己知识库这种事挺酷的。

现在,咱们来看看如何实操:

第一步:安装ollam

    1. ollam,这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派,只要内存够,跑起来都不是问题。记得,7B模型至少要8G内存,13B的要16G,想玩70B的大家伙,那得有64G。首先,去ollama.com下载适合你操作系统的版本,我用的是Windows,下载安装完之后,在命令行敲一下ollama -V,能看到版本号就说明安装好了。
    1. 下载适合本地电脑的大模型,ollama网站上有个“Models”链接,点进去找到“gemma”模型。在“Tags”里面找到你想运行的模型版本,比如“7b”,旁边有个复制按钮,点击后把命令复制下来。然后就是在命令行里跑这个命令,第一次运行会自动下载模型。下载完毕,就能开始和它聊天或者让它帮你写代码了。

终端输入:

ollama run llama2:7b
  • 1

下载完成后,就进入交互模式,这就可以开始聊天了。

至此,Gemma 模型的_本地部署运行已经完成了_,非常简单。

  1. 使用像 ChatGPT 那样的现代的聊天窗口

虽然部署完成了,但是上面那种_古老的终端_可能影响我们的交互体验,下面提供两个现代聊天窗口工具(如果你不想使用这些GUI,这一步可以跳过,不影响本地知识库搭建,**直接去看下面的第二步:**AnythingLLM安装):chatbox 和 openai web ui。

第一个:chatbox

打开设置,模型提供方选 ollama,API 地址是本地的 11434 端口,模型选 gemma:7b。

地址:https://chatboxai.app/zh


第二个:openai web ui

如何安装

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/696151
推荐阅读
相关标签