DB-GPT 保姆级安装教程_dbgpt离线安装

环境准备

必须使用能暴露地址的服务云

如果不能就会显示

源码下载

git clone https://github.com/eosphoros-ai/DB-GPT.git

Miniconda环境安装

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
 
# it will take some minutes
pip install -e ".[default]"

cd DB-GPT
 
cp .env.template  .env

本地模型

mkdir models and cd models
#### embedding model
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
或者
git clone https://huggingface.co/moka-ai/m3e-large
 
#### llm model, if you use openai or Azure or tongyi llm api service, you don't need to download llm model
git clone https://www.modelscope.cn/qwen/Qwen-14B-Chat-Int4.git

环境变量配置, 配置LLM_MODEL参数在 `.env` 文件中

vim .env

LLM_MODEL 参照 这个文件 修改        

如果启动  Qwen-14B-Chat-Int4 模型 还需要在DB-GPT/models/Qwen-14B-Chat-Int4/config.json这配置

disable_exllama:true

运行服务

python dbgpt/app/dbgpt_server.py

可能会报错 是有包没有安装 安装即可  希望能帮到大家