DB-GPT、ChatGLM3-6B全精度部署_db-gpt chatglm_db-gpt配置

#### 源代码修改，就是把这两句代码提前到dbgpt模块导入


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/88d4ae3e91cb4c9a83a26acfdcf17f5e.png)


## 2、 数据库设置（docker + MySQL）



1
2
3
4
5
6
7
8
9
10
11

docker安装与mysql容器搭建就不详细说了

主要是数据迁移，有小坑

首先查看mysql服务地址

ifconfig

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9730f73f34ec41a28e246b4def785044.png)



1
2
3
4
5

导入数据库

mysql -h 172.17.0.1 -u root -p < ./assets/schema/dbgpt.sql

由于代码更新需要修改数据库表结构，有一张表需要添加字段

mysql -u root -p -h 172.17.0.1

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/69a2595dd31549bdb555adc1c261734d.png)



1
2
3
4
5

USE dbgpt;
ALTER TABLE dbgpt_serve_flow
ADD COLUMN error\_message varchar(512) null comment ‘Error message’ after state;

### 3、模型下载


请参照我的上一篇博客  
 [ChatGLM3-6B 多GPU、Linux环境部署遇到的问题以及解决方法]( )



1
2
3
4
5
6
7
8
9

cd DB-GPT
mkdir models
ln -s /opt/model/cache/ZhipuAI/chatglm3-6b /opt/suwy/DB-GPT/models/chatglm3-6b

注意这个bge-large-zh不要加后缀，这个是写死在.env环境文件中的

ln -s /opt/model/cache/AI-ModelScope/bge-large-zh-v1.5 /opt/suwy/DB-GPT/models/bge-large-zh

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/beda7fe7cfff4631b41c7e8055247555.png)


### 4、.env环境文件修改



1
2
3
4
5
6
7
8

cp .env.template .env

主要修改大语言模型配置、embedding配置、数据库配置、GPU使用配置

以下是修改部分

大语言模型配置

#*******************************************************************#
#** LLM MODELS **#
#*******************************************************************#

LLM_MODEL, see dbgpt/configs/model_config.LLM_MODEL_CONFIG

#LLM_MODEL=vicuna-13b-v1.5
LLM_MODEL=chatglm3-6b

LLM model path, by default, DB-GPT will read the model path from LLM_MODEL_CONFIG based on the LLM_MODEL.

Of course you can specify your model path according to LLM_MODEL_PATH

embedding配置

#*******************************************************************#
#** EMBEDDING SETTINGS **#
#*******************************************************************#
#EMBEDDING_MODEL=text2vec
#EMBEDDING_MODEL=m3e-large
#EMBEDDING_MODEL=bge-large-en
EMBEDDING_MODEL=bge-large-zh
KNOWLEDGE_CHUNK_SIZE=500
KNOWLEDGE_SEARCH_TOP_SIZE=5

Maximum number of chunks to load at once, if your single document is too large,

you can set this value to a higher value for better performance.

if out of memory when load large document, you can set this value to a lower value.

KNOWLEDGE_MAX_CHUNKS_ONCE_LOAD=10

#KNOWLEDGE_CHUNK_OVERLAP=50

Control whether to display the source document of knowledge on the front end.

KNOWLEDGE_CHAT_SHOW_RELATIONS=False

Whether to enable Chat Knowledge Search Rewrite Mode

KNOWLEDGE_SEARCH_REWRITE=False

EMBEDDING_TOKENIZER - Tokenizer to use for chunking large inputs

EMBEDDING_TOKEN_LIMIT - Chunk size limit for large inputs

EMBEDDING_MODEL=all-MiniLM-L6-v2

EMBEDDING_TOKENIZER=all-MiniLM-L6-v2

EMBEDDING_TOKEN_LIMIT=8191

数据库配置

#*******************************************************************#
#** DB-GPT METADATA DATABASE SETTINGS **#
#*******************************************************************#

SQLite database (Current default database)

#LOCAL_DB_TYPE=sqlite

MYSQL database

LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD=123456
LOCAL_DB_HOST=172.17.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt

This option determines the storage location of conversation records. The default is not configured to the old version of duckdb. It can be optionally db or file (if the value is db, the database configured by LOCAL_DB will be used)

#CHAT_HISTORY_STORE_TYPE=db

GPU使用配置（我是多GPU，注释说得很详细了）

#*******************************************************************#
#** MUlti-GPU **#
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）