从零开始部署本地大模型（Langchain-chatchat）_怎么更换langchat-chatchat的模型

配置环境

Anaconda安装

下载地址：Free Download | Anaconda

cuda安装

通过命令行查看GPU信息：

nvidia-smi
1

可以看到，我的计算机支持的cuda最高版本是12.4

因此就去下载对应版本的cuda：CUDA Toolkit Archive | NVIDIA Developer

配置虚拟环境

这里使用Anaconda安装虚拟环境，python的版本是3.11

conda create -n chat python=3.11
1

拉取项目

然后，使用git拉取项目：

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
1

接下来安装全部依赖：

# 进入目录
cd Langchain-Chatchat
# 安装全部依赖
pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt  
1
2
3
4
5
6

pytorch安装

到官网Start Locally | PyTorch查看对应版本pytorch的安装命令，如下：

这里采用pip：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
1

模型下载

如果需要在本地或离线环境运行项目，需要先下载模型到本地

项目默认配置的LLM模型是THUDM/chatglm3-6b，Embedding模型是BAAI/bge-large-zh。但由于本计算机显卡配置不足以支撑这两个模型，因此采用的LLM模型是Qwen/Qwen-1_8B-Chat，Embedding模型是moka-ai/m3e-base。这里根据自己显卡配置选择合适的模型即可

下载的方式有两种：

1.可以到Huggingface的镜像站下载：HF-Mirror - Huggingface 镜像站

2.也可以使用git lfs下载

git lfs install
git clone https://huggingface.co/Qwen/Qwen-1_8B-Chat
git clone https://huggingface.co/moka-ai/m3e-base
1
2
3

但由于网络问题，我采用的是到镜像站下载的方式

下面以moka-ai/m3e-baset模型的下载作示例：

到镜像站搜索moka-ai/m3e-base，然后点击Files and versions：

将上面所有的文件都下载下来，注意：一个都不能少。然后自己放到一个目录中

配置修改

在项目文件里的configs文件夹下，存在一些.example后缀的文件，需要去掉这些后缀。这里可以运行项目里的一个python文件来批量修改

python copy_config_example.py
1

然后，就可以看到configs文件夹如下：

接下来，修改这个文件夹里的model_config.py文件

首先修改LLM模型和Embedding模型为你所下载的模型：

#EMBEDDING_MODEL = "bge-large-zh-v1.5"
EMBEDDING_MODEL = "m3e-base"

#LLM_MODELS = ["chatglm3-6b", "zhipu-api", "openai-api"]
LLM_MODELS = ["Qwen-1_8B-Chat", "zhipu-api", "openai-api"]
1
2
3
4
5

然后修改对应的模型路径为你刚才下载的两个模型的路径，这里我使用的是绝对路径：

MODEL_PATH = {
    "embed_model": {
        #"m3e-base": "moka-ai/m3e-base",
        "m3e-base": "D:\develop\Langchain-Chatchat\moka-ai\m3e-base",
        #...
    },
    "llm_model": {
        #"Qwen-1_8B-Chat": "Qwen/Qwen-1_8B-Chat",
        "Qwen-1_8B-Chat": "D:\develop\Langchain-Chatchat\Qwen\Qwen-1_8B-Chat",
        #...
    }
}
1
2
3
4
5
6
7
8
9
10
11
12

然后，也可以修改LLM_DEVICE设备，默认是auto，这里我改成了cuda，即GPU运行

# LLM模型运行设备。设为"auto"会自动检测(会有警告)，也可手动设定为 "cuda","mps","cpu","xpu" 其中之一。
LLM_DEVICE = "cuda"
1
2

知识库初始化

如果是第一次运行项目，未创建过知识库，则需要用以下命令初始化或重建数据库：

python init_database.py --recreate-vs
1

如果创建过知识库，可以使用以下命令创建或更新数据库表，如果可以正常运行，则无需再重建知识库

python init_database.py --create-tables
1

运行项目

在运行项目之前，需要注意，如果此时直接运行项目，会报错：

ModuleNotFoundError: No module named 'pwd'
1

而pwd指令是Linux才有的方法，如果使用的是windows，需要执行如下指令：

pip install langchain-community==0.0.19
1

然后，一键启动项目：

python startup.py -a
1

启动成功后界面如下：

此时进入网址http://127.0.0.1:7861/docs可看到FastAPI Docs界面

进入网址http://127.0.0.1:8501可查看Web UI界面。注意：如果此时无法打开Web UI界面，就去命令行里输入邮箱，随便输一个就可以，然后就能进入了