- 1【springboot开发】项目打包、发布和部署_springboot项目打包部署
- 2实例99：使用AEGAN对MNIST数据集压缩特征及重建_ae-gan
- 3通过openssl生成密钥以及如何设置flask接口的https访问_openssl 证书 flask
- 4云原生向量数据库Milvus（二）-数据与索引的处理流程、索引类型及Schema_milvus 多字段search
- 5美国国会听证会探讨“深度伪造（deepfake）”风险及对策_深度伪造引发社会风险
- 6解决Plugin ‘xxx‘ is incompatible with this installation的问题(bito)_this plugin is not a production of jetbrains
- 7恐怖的ChatGPT，肉哥也All in了！
- 8使用Unity3D 自主实战开发的赛车游戏实例，关键点记录 （五）之实时排名系统
- 9哲理故事300篇 中_我要松下特别痛苦走到哪住哪楼上做装饰销售可达弄到我身上老愈吗
- 10F5负载均衡
搭建本地大模型和知识库，最简单的方法_ollama部署在本地之后,怎么创建自己的知识库呢?
赞
踩
ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
更多资源欢迎关注
在本地跑开源大模型，目前最好的软件肯定是Ollama。
不管你用的是PC、Mac，甚至是树莓派，都能通过Ollama运行大大小小的模型。而且扩展性极强。
我准备分几期详细介绍Ollama的用法。今天这期，先介绍三点：
-
怎么用Ollama在本地运行大模型。
-
在跑本地大模型的同时，使用像ChatGPT那样的Web UI。
-
打造完全本地化的知识库。
大家如果有更好的建议，或者在安装和使用过程中有什么问题，可以到公众号找我
Ollama
安装Ollama超级简单。到官网ollama.com或者.ai下载对应版本就行。
安装完成之后，在终端里输入ollama run，后边接想要运行的大模型名称就行。比如：ollama run llama2。这时系统会自动下载对应的大模型文件。
如果你不确定大模型的名称，到官网的model子页面就能找到目前所有支持的大模型。每一款大模型都有不同的版本，根据你的需求、机器的内存大小，选择对应版本，然后复制命令就行。
一般来说，7b的模型至少需要8G RAM，13b需要16G，70b需要64G。大家量力而为，不然跑起来真的非常卡顿。
在默认情况下，你需要在终端里与大模型做交互。不过这种搞法真的太古老了。我们肯定是希望在一个现代的、图形化的界面里操作。这时候就要用到Open WebUI了。
Open WebUI
要安装Open WebUI，需要先安装Docker。
你可以把Docker简单理解为就是一个虚拟的容器。所有应用和依赖都打包成一个容器，然后再在系统上运行。
Docker搞定之后，复制GitHub里的这行命令到终端里执行。一切顺利的话，打开一个本地链接，就能看到非常眼熟的界面了。
这个WebUI，除了具备基本的聊天功能之外，还包含了RAG能力。不管是网页还是文档，都可以作为参考资料给到大模型。
你如果想让大模型读取网页内容的话，在链接前面加个#就行。
你如果想让大模型读取文档的话，可以在对话框的位置导入，也可以在专门的Documents页面导入。
在对话框里输入#，会出现已经导入的所有文档。你可以选中一个，或者干脆让大模型把所有文档都作为参考资料。
如果你的要求不是太高，那么做到这一步就OK了。如果你想对知识库有更多的掌控，就下载这个软件：Anything LLM。
AnythingLLM
Ollama其实有两种模式：
-
聊天模式
-
服务器模式
所谓服务器模式，你可以简单理解为，Ollama在后端运行大模型，然后开放一个端口给到别的软件，让那些软件可以调用大模型的能力。
要开启服务器模式非常简单。在终端里输入两个单词：ollama serve。
启动之后，把这个默认链接填到Anything LLM里。这时，软件会通过链接读取可以加载的模型。这些模型是用来生成内容的模型。
除此之外，搭建一个知识库，会涉及到另外两个关键：
-
Embedding Model，嵌入模型。它负责把高维度的数据转化为低维度的嵌入空间。这个数据处理过程在RAG中非常重要。
-
Vector Store，向量数据库，专门用来高效处理大规模向量数据。
这两个我们都用默认的。这样一来，整套系统都跑在你的电脑上。当然，你也可以选择全部跑在云端，比如，大模型和嵌入模型都用OpenAI的，向量数据库用Pinecone，都可以。
完成最基础的三个设置之后，就可以进入主界面了。这款软件的逻辑我挺喜欢的，它有一个Workspace的概念。在每一个Workspace内部，可以创建各种聊天窗口，可以导入各种文档。
所以，你可以根据项目来创建Workspace，一个项目建一个。然后，把关于这个项目的所有文档、所有网页都导入Workspace。最后，聊天模式还有两种可以设置：
-
对话模式：大模型会根据你给的文档，以及它本来就有的知识储备，综合起来回答。
-
查询模式：大模型只是简单地针对文档进行回答。
这个就是我前边说的，Anything LLM比Open WebUI更进阶的地方，完全可以满足个人对知识库的需求。我已经把它作为我在桌面端Workflow的核心。
等这两期视频做完，我专门出一期，讲讲我目前在用的AI工具和工作流吧。
ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
更多资源欢迎关注
