全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！_anythingllm api 调用

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

Aitrainee | 公众号：AI进修生

文章太长了，请点击这里查看原文：全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

Hello，我是Aitraine，在本地电脑上跑大语言模型（LLM），已经不是什么高科技操作了。随着技术的迭代，现在利用Ollam和AnythingLLM就可以轻松构建自己的本地知识库，人人皆可上手，有手就行。过往要达成这一目标，可是需要有编程经验的。

首先得了解一下背后的原理。大概就是三步走：一是LLM，大语言模型，懂得怎么处理自然语言。二是嵌入模型，它的工作就是把复杂的数据简化，转化成易于处理的格式。最后是向量数据库，专门存储和管理那些转化后的数据。

说实话，虽然文章有点长，但里面多是附加的资源和细节，实际上手操作真的挺简单的。感兴趣的朋友，动手试试吧，说不定用AI构建自己知识库这种事挺酷的。

第一步：安装ollam

1. ollam，这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派，只要内存够，跑起来都不是问题。记得，7B模型至少要8G内存，13B的要16G，想玩70B的大家伙，那得有64G。首先，去ollama.com下载适合你操作系统的版本，我用的是Windows，下载安装完之后，在命令行敲一下ollama -V，能看到版本号就说明安装好了。

ollama run llama2:7b
1

下载完成后，就进入交互模式，这就可以开始聊天了。

2. 使用像 ChatGPT 那样的现代的聊天窗口

   虽然部署完成了，但是上面那种古老的终端可能影响我们的交互体验，下面提供两个现代聊天窗口工具（如果你不想使用这些GUI，这一步可以跳过，不影响本地知识库搭建，直接去看下面的第二步：AnythingLLM安装）：chatbox 和 openai web ui。

   • chatbox： 点我访问

   • openai web ui： 安装文档地址

第二步：AnythingLLM安装

点击这里下载AnythingLLM

产品概述

AnythingLLM 是一个全栈应用程序，您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT，无需任何妥协，您可以在本地运行，也可以远程托管并能够智能聊天以及您提供的任何文件。

AnythingLLM 将您的文档划分为名为 workspaces 的功能很像线程，但增加了文档的容器化。工作区可以共享文档，但它们不会相互通信，因此您可以保持每个工作区的上下文干净。

AnythingLLM 的一些很酷的功能

• 支持多用户实例和权限
• 新的自定义可嵌入式聊天小部件，可以嵌入到你的网站
• 支持多种文件类型（PDF，TXT，DOCX等）
• 通过简单的用户界面管理你的向量数据库中管理文件
• 提供两种聊天模式：对话和查询。对话保留先前的问题和修订。查询是针对文档的简单QA
• 聊天过程中的引用
• 100%适合云部署。
• “自带LLM”模型
• 处理大文件时极有效的节约成本措施。你永远不必为将大型文件或记录输送到聊天机器人中支付费用，比其他的文件聊天机器人解决方案节省90%的费用。
• 提供全面的开发者API用于自定义集成！

多用户模式

这一点对于企业级应用特别关键，AnythingLLM支持多用户模式，3种角色的权限管理。

系统会默认创建一个管理员（Admin）账号，拥有全部的管理权限。

第二种角色是Manager账号，可管理所有工作区和文档，但是不能管理大模型、嵌入模型和向量数据库。

普通用户账号，则只能基于已授权的工作区与大模型对话，不能对工作区和系统配置做任何更改。

打开ollama端口：

Ollama其实有两种模式：

1. 聊天模式
2. 服务器模式

这里使用服务器模式，Ollama在后端运行大模型，开发IP和端口给外部软件使用。

ollama serve
1

通过终端或者命令行，访问 http://localhost:11434 进行验证：

curl http://localhost:11434
``

`

**例子：** 在聊天室中，询问一个问题 “刘德华是谁？”

## 最后的问题，如何测试我的部署？

首先，您可以使用chatbox或openai web ui进行测试。还可以直接调用接口。

**API 接口调用示例：**

```python
import requests
import json

url = "http://localhost:11434/response"
data = {"message": "请问刘德华是谁？"}

response = requests.post(url, json=data)
print(response.json())
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

在本地运行机器人的指南，请查阅这里.

总结

本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。

若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。

---

✨ AI算法工程师 | AIGC技术实践者