当前位置:   article > 正文

langchain本地部署_langchina 本地部署

langchina 本地部署

conda环境搭建 python3.10

$ conda create --prefix /data/envs/chatchat python=3.10

$ cd /data/envs/chatchat

$ conda activate /data/envs/chatchat

拉取仓库

$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

进入目录

$ cd Langchain-Chatchat

安装全部依赖

$ pip install -r requirements.txt

$ pip install -r requirements_api.txt

$ pip install -r requirements_webui.txt

$ pip install openai==0.28

默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。

git lfs下载

$ yum install git-lfs

验证

$ git lfs install
Git LFS initialized.

git clone https://huggingface.co/THUDM/chatglm3-6b

git clone https://huggingface.co/BAAI/bge-large-zh

#以上两个模型下载很慢,从网上找到模型库,clone下来即可

$ git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

$ git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git

复制配置文件

$ python copy_config_example.py

初始化知识库

$ python init_database.py --recreate-vs

修改configs/model_config.py配置文件中模型的路径,建议将两个模型单独放一个文件夹中

MODEL_ROOT_PATH = “/data/envs/chatchat/Langchain-Chatchat/aimodel”

pytorch与cuda版本不一致,先卸载torch、torchvision,然后再安装对应版本

$ pip uninstall torch

$ pip uninstall torchvision

$ pip install torch1.11.0+cu113 torchvision0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113

官网:https://pytorch.org/get-started/previous-versions/

通过python查看安装版本以及是否可使用

python

import torch

print(torch.version)

1.11.0+cu113

print(torch.cuda.is_available())

True

启动

$ python startup.py -a

##报错:RuntimeError: Failed to import transformers.models.llama.modeling_llama because of the following error (look up to see its traceback):
module ‘torch’ has no attribute ‘fx’

##发现是transformers版本问题,transformers 4.35.2 降低4.34.0
$ pip install transformers==4.34.0

重新启动

$ python startup.py -a

启动成功

Chatchat WEBUI Server: http://0.0.0.0:8501

服务器开放端口

$ /sbin/iptables -I INPUT -p tcp --dport 8501 -j ACCEPT

$ /sbin/iptables -I INPUT -p tcp --dport 7861 -j ACCEPT

文章参考:本地搭建chatgpt知识库 - 掘金 (juejin.cn)

模型:(https://github.com/chatchat-space/Langchain-Chatchat?tab=readme-ov-file)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/671785
推荐阅读
相关标签
  

闽ICP备14008679号