赞
踩
有人问我怎么构建自己的 gpt?
正好这里有个开源项目,可以自己部署,构建自己的专属 gpt。
自己部署的最大好处就是没有数据安全泄露问题,毕竟数据隐私这一块还是相当重要的。
这个项目是:Langchain-Chatchat
这个项目目前已经有 27k+ starts, 129 位贡献者,虽然比不上 原生的 langchain 的框架,但已经想当不错了。
Langchain-Chatchat 是基于 Langchain 与大语言模型的本地知识库问答。
可以实现与LLM对话
、知识库问答
、文件对话
、搜索引擎问答
、自定义Agent问答
等功能,可以满足大部分的需求。
这个项目好是好,但是初次部署存在一些坑,本文教你一步步配置,启动 Langchain-Chatchat,可以收藏,留作后用。
无论你是云端,还是本机,都可以,只不过有些环境不同。
这里以AutoDL云端服务器
为例,镜像可采用 https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat
模型采用Qwen/Qwen-1_8B-Chat
,向量检索模型采用bge-large-zh-v1.5
。
本文的目的是先跑起来,至于里面向量检索模型是用什么?还能用什么大模型,还有什么更加好玩的地方?是否能自己修改开发,后面再继续讨论。
1、下载项目
https://github.com/chatchat-space/Langchain-Chatchat
无论是什么环境,采用 git clone 也好,还是直接下载压缩包也好,把 Langchain-Chatchat 下载到服务器就行。
AutoDL 我采用下载 ZIP 压缩包到本地,然后在上传的方式。
2、下载 LLM 模型
之前写过怎么能够快速的下载模型,可以看之前的文章。
这里采用 python 脚本 snapshot 的下载方式。
(1) export HF_ENDPOINT=https://hf-mirror.com
(2)
from huggingface_hub import snapshot_download snapshot_download(repo_id='Qwen/Qwen-1_8B-Chat', repo_type='model', local_dir='./Qwen/Qwen-1_8B-Chat', resume_download=True)
3、下载向量模型
采用模型是 bge-large-zh-v1.5
(1) export HF_ENDPOINT=https://hf-mirror.com
(2)
from huggingface_hub import snapshot_download snapshot_download(repo_id='BAAI/bge-large-zh-v1.5', repo_type='model', local_dir='./BAAI/bge-large-zh-v1.5', resume_download=True)
下载上面的项目和模型之后,记住模型的 local_dir 位置,到时候要填写其绝对路径
,切记,相对路径也可以,只要你能搞清楚路径的存储都没问题,绝对路径相对大多数人来说,简单一些。
上面已经下载了项目,进到项目之后,开始配置。
1、先配置 model 所需要的
先执行 python copy_config_example.py
执行之后,进入到 cd configs/
这里要先修改 model_config.py
找到 EMBEDDING_MODEL
和 LLM_MODELS
两个变量,修改为下面的值。
多说一嘴,LLM_MODELS
可以是多个,默认是第一个,但是要写多个的话,记得模型路径都得配置好。
# 选用的 Embedding 名称 EMBEDDING_MODEL = "bge-large-zh-v1.5" LLM_MODELS = ["Qwen-1_8B-Chat"]
第二步,修改下面的两处为模型的绝对路径,很重要。
上面的配置之后,模型这部分就告一段落。
2、配置启动服务
配置 server_config.py
这里是 autoDL 的一个坑,端口
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。