Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用_langchain-chatchat使用量化模型

Langchain-Chatchat

概述

Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型的本地知识库问答应用项目。

GitHub：https://github.com/chatchat-space/Langchain-Chatchat

实现原理

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

开发环境准备

软件要求

使用Ubuntu系统，其他系统可能出现系统兼容性问题

python

复制代码Linux Ubuntu 22.04.5 kernel version 6.7
1
2
3

最低要求

该要求仅针对标准模式，轻量模式使用在线模型，不需要安装torch等库，也不需要显卡即可运行。

复制代码Python 版本: >= 3.8(很不稳定), < 3.11
CUDA 版本: >= 12.1
1
2

推荐要求

开发者在以下环境下进行代码调试，在该环境下能够避免最多环境问题。

复制代码Python 版本 == 3.10.12
CUDA 版本: == 12.3
1
2

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】