ResearchGPT/PrivateGPT部署

ResearchGPT

[github]
1.装包部署

git clone https://github.com/mukulpatnaik/researchgpt.git
cd researchgpt
pip install -r requirements.txt
1
2
3

• 安装openai有很多坑，从python版本选择开始就要注意。
  python版本选择：3.8。
• 装包要在终端开vpn
• No module named ‘openai.embeddings_utils’ : openai.embeddings_utils does not exist in latest openai 1.2.0, but exists in 0.27.7
  先卸载原版本再安装0.27.7：

pip uninstall openai
1

pip install openai==0.27.7
1

2. Redis安装

3. 设置环境变量：在环境变量里设置OPENAI_API_KEY，可以通过在命令提示符（CMD）或者PowerShell中输入echo %OPENAI_API_KEY%来验证环境变量是否设置成功。
   需要拿到一个openaikey

4. 运行

uvicorn main:app --reload
1

原版，无法运行，要改端口：

uvicorn main:app --host 127.0.0.1 --port 45144 --reload
1

而且终端要：

set http_proxy=http://127.0.0.1:7890
set https_proxy=http://127.0.0.1:7890
1
2

• 报错：redis.exceptions.ConnectionError: Error 10061 connecting to localhost:45183. 由 于目标计算机积极拒绝，无法连接。
  解决方法：是由于没有启动redis服务，启动服务（找到安装路径，打开redis-servce.exe文件即可）。

• 报错：INFO: 127.0.0.1:52751 - “POST /process_pdf HTTP/1.1” 500 Internal Server Error
  ERROR: Exception in ASGI application.
  解析：the 127.0.0.1:64603 part is not the address and port the server is running on. Instead, it’s the address and port of the client that sent the HTTP request to the server.这个错误是由于下面那个错误导致的。

• 报错：Done creating dataframe
  openai.error.RateLimitError: Rate limit reached for text-embedding-ada-002 in organization org-s7q4Pdq4wxWqju2UCefWy6uZ on requests per min (RPM): Limit 3, Used 3, Requested 1. Please try again in 20s
  限制规则见openai文档。

curl http://localhost:19327/v1/completions \ -H “Content-Type: application/json” \ -d ‘{ “prompt”: “告诉我中国的首都在哪里” }’

python scripts/openai_server_demo/openai_api_server.py --base_model /path/to/base_model --lora_model /path/to/lora_model --gpus 0,1

PrivateGPT

不行，换方法 ，本地基于llama2部署
按照官方步骤一步步来即可。

一些要点：

• Makefile安装
  当用户编译文件过多的时候，使用makefile可以帮助模块化编译文件，makefile是一个脚本文件，根据规则，来执行相应的脚本文件，实现自动化编译。
  首先安装chocolatey，以管理员权限打开cmd命令行提示，执行如下内容：

@powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin
1

安装make

choco install make
1

测试make是否成功安装

make --version
1

• Poetry安装
  这里注意，官方下载指定都不好使，会把安装地址重定向，导致安装依赖包时出错。
  下载方法：

安装：pip install --user poetry

卸载：pip uninstall poetry
1
2
3

安装检查：

1、安装完成后要在环境变量新增一条poetry的环境变量

2、控制台执行poetry --version，出现Poetry version 表示安装成功

• 通过poetry安装依赖包：

poetry install --with ui
1

• GCC安装
  参考教程：Windows下GCC安装和使用
• llama.cpp模型下载
  Install extra dependencies for local execution:

poetry install --with local
1

下载模型

poetry run python scripts/setup
1

• 尝试运行

make run
1

端口号不是localhost
解决：在工程中ctrl+shift+f寻找uvicorn.run找到

# uvicorn.run(app, host="0.0.0.0", port=settings().server.port, log_config=None)

uvicorn.run(app, host="127.0.0.1", port=settings().server.port, log_config=None)

1
2
3
4

修改即可
然后再make run
啊啊啊啊啊啊终于成功了，接下来我要详细理解这个工程，以方便以后微调。