基于本地知识库的大模型搭建教程_本地知识库搭建大模型

作者：我家自动化 | 2024-05-01 21:08:46

踩

本地知识库搭建大模型

基于本地知识库的大模型搭建

一、安装postgresql
- 1.下载postgresql
- 2.安装postgresql
二、配置向量插件
- 1.向量插件配置
三、数据库准备
- 1.初始化
四、初始化向量库
- 1.向量库初始化
五、模型，启动！
- 1.阿型，启动！
六、上传本地知识库及效果展示
- 1.上传本地知识库

一、安装postgresql

1.下载postgresql

1）进入下载网址，根据本地设备下载对应版本的数据库（以window安装postgresql16版本为例）https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
在这里插入图片描述

2.安装postgresql

1）具体安装可以一路next，或者参考别人的博客安装一下，建议安装默认路径。默认安装的路径应该是C:\Program Files\PostgreSQL\16
（PS：记好设置的账号密码）

二、配置向量插件

这一步是重点，配置前需要确定你的电脑是否有visual studio下的C++环境，如果没有的话，需要下载visual studio（社区版即可，无需专业版），安装时把C++的都选上。同时记住安装地址
下载地址：https://visualstudio.microsoft.com/zh-hans/downloads/
在这里插入图片描述

1.向量插件配置

1）以管理员身份打开Developer Command Prompt for VS 2022终端（此处我下载的是社区版VS 2022版）
在这里插入图片描述
2）在Developer Command Prompt for VS 2022终端进入源码目录下（E:\LLM\Langchain-Chatchat）执行call命令
call “E:\visualStudio\VC\Auxiliary\Build\vcvars64.bat”（根据自己的安装目录调整路径），若出现call命令出错，也可以直接到对应的目录下进行点击启动。
在这里插入图片描述

3）执行set "PGROOT=C:\Program Files\PostgreSQL\16"语句（根据自己postgresql的安装地址修改，如果是默认则无需修改）

4）执行语句下载pgvector文件，git clone --branch v0.4.4 https://github.com/pgvector/pgvector.git

5）进入pgvector目录，执行nmake /F Makefile.win和nmake /F Makefile.win install语句
在这里插入图片描述
6）打开pgAdmin4，创建数据库以及安装向量插件。
语句如下：
CREATE DATABASE TEST;
CREATE EXTENSION IF NOT EXISTS vector;

这些做完，基本上就差不多了，马上成功了吼吼吼！！！

三、数据库准备

这一步就该回到Anaconda Powershell Prompt终端了。

1.初始化

1）在configs目录下执行python -m spacy download en_core_web_sm语句。
在这里插入图片描述
2）在configs目录下执行python -m spacy download zh_core_web_sm语句

3）在configs目录下执行pip install psycopg2语句

4）在configs目录下执行pip install pgvector语句