当前位置:   article > 正文

新手教程,使用Langchain-Chatchat构建自己的专属GPT_langchain chatgpt

langchain chatgpt

有人问我怎么构建自己的 gpt?

正好这里有个开源项目,可以自己部署,构建自己的专属 gpt。

自己部署的最大好处就是没有数据安全泄露问题,毕竟数据隐私这一块还是相当重要的。

这个项目是:Langchain-Chatchat

这个项目目前已经有 27k+ starts, 129 位贡献者,虽然比不上 原生的 langchain 的框架,但已经想当不错了。

Langchain-Chatchat 是基于 Langchain 与大语言模型的本地知识库问答。

可以实现与LLM对话知识库问答文件对话搜索引擎问答自定义Agent问答等功能,可以满足大部分的需求。

在这里插入图片描述

这个项目好是好,但是初次部署存在一些坑,本文教你一步步配置,启动 Langchain-Chatchat,可以收藏,留作后用。

无论你是云端,还是本机,都可以,只不过有些环境不同。

这里以AutoDL云端服务器为例,镜像可采用 https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat

模型采用Qwen/Qwen-1_8B-Chat,向量检索模型采用bge-large-zh-v1.5

本文的目的是先跑起来,至于里面向量检索模型是用什么?还能用什么大模型,还有什么更加好玩的地方?是否能自己修改开发,后面再继续讨论。

预备下载

1、下载项目

https://github.com/chatchat-space/Langchain-Chatchat

无论是什么环境,采用 git clone 也好,还是直接下载压缩包也好,把 Langchain-Chatchat 下载到服务器就行。

AutoDL 我采用下载 ZIP 压缩包到本地,然后在上传的方式。

2、下载 LLM 模型

之前写过怎么能够快速的下载模型,可以看之前的文章。

这里采用 python 脚本 snapshot 的下载方式。

(1) export HF_ENDPOINT=https://hf-mirror.com

(2)

from huggingface_hub import snapshot_download      snapshot_download(repo_id='Qwen/Qwen-1_8B-Chat',                     repo_type='model',                     local_dir='./Qwen/Qwen-1_8B-Chat',                     resume_download=True)   
  • 1

3、下载向量模型

采用模型是 bge-large-zh-v1.5

(1) export HF_ENDPOINT=https://hf-mirror.com

(2)

from huggingface_hub import snapshot_download      snapshot_download(repo_id='BAAI/bge-large-zh-v1.5',                     repo_type='model',                     local_dir='./BAAI/bge-large-zh-v1.5',                     resume_download=True)   
  • 1

下载上面的项目和模型之后,记住模型的 local_dir 位置,到时候要填写其绝对路径,切记,相对路径也可以,只要你能搞清楚路径的存储都没问题,绝对路径相对大多数人来说,简单一些。

项目配置

上面已经下载了项目,进到项目之后,开始配置。

1、先配置 model 所需要的

先执行 python copy_config_example.py

执行之后,进入到 cd configs/

这里要先修改 model_config.py

找到 EMBEDDING_MODELLLM_MODELS两个变量,修改为下面的值。

多说一嘴,LLM_MODELS可以是多个,默认是第一个,但是要写多个的话,记得模型路径都得配置好。

# 选用的 Embedding 名称   EMBEDDING_MODEL = "bge-large-zh-v1.5"      LLM_MODELS = ["Qwen-1_8B-Chat"]   
  • 1

第二步,修改下面的两处为模型的绝对路径,很重要。

上面的配置之后,模型这部分就告一段落。

2、配置启动服务

配置 server_config.py

这里是 autoDL 的一个坑,端口

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/990303
推荐阅读
相关标签