本地部署 privateGPT_privategpt +pdf

1. 什么是 privateGPT

利用 GPT 的强大功能，私密地与您的文档交互，100% 保密，绝不泄露任何数据。

使用 LLMs 的能力，在没有互联网连接的情况下向您的文档提问，100％保密，您的执行环境没有任何数据离开。您可以在没有互联网连接的情况下摄取文档并提问！

使用 LangChain、GPT4All、LlamaCpp、Chroma 和 SentenceTransformers 等技术构建。

2. Github 地址

https://github.com/imartinez/privateGPT

3. 创建虚拟环境

conda create -n privategpt python==3.10.6
conda activate privategpt 

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
1
2
3
4

4. 部署 privateGPT

克隆项目，

git clone https://github.com/imartinez/privateGPT; cd privateGPT/
1

安装依赖，

pip install -r requirements.txt
1

5. 配置 .env

将 example.env 重命名为 .env 并适当编辑变量，

cp example.env .env
1

6. 下载模型

mkdir models
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin -O ./models/ggml-gpt4all-j-v1.3-groovy.bin
1
2

7. 将文件放入 source_documents 目录中

将任何和所有文件放入 source_documents 目录中。支持的文件扩展名有：

• .csv: CSV 文件，
• .docx: Word 文件，
• .doc: Word 文件，
• .enex: EverNote 文件，
• .eml: 邮件
• .epub: EPub 文件
• .html: HTML 文件，
• .md: Markdown 文件，
• .msg: Outlook 消息，
• .odt: Open Document Text 文件，
• .pdf: 可移植文档格式（PDF）文件，
• .pptx: PowerPoint 文件，
• .ppt: PowerPoint 文件，
• .txt: 文本文件（UTF-8）

8. 摄取所有数据

运行以下命令以摄取所有数据，

python ingest.py
1

9. 向本地文档提问

python privateGPT.py
1

作为测试，我导入了一个 “kubernetes修炼手册.pdf” 文件，问了 “什么是 kubernetes deployment”，回答结果如截屏所示。个人觉得这种回答，完全不可以使用。

完结！