(25-1)基于本地知识库的自动问答系统（LangChain+ChatGLM+ModelScope/Huggingface部署）:背景介绍+项目介绍_langchain+chatglm 结构图

在本章的内容中，展示了利用 LangChain 和 ChatGLM-6B 等模型构建一个基于本地知识的大型语言模型应用系统。通过提供 Web 用户界面，用户可以上传不同格式的文本文件，并选择不同的模型和嵌入模型来进行自定义操作。这个项目突出了如何利用预训练的语言模型来实现问答系统，并通过提供多种模型选择和嵌入模型选择，为用户提供了更多的灵活性和选择空间。

13.1  背景介绍

在当前人工智能技术快速发展的背景下，越来越多的大型语言模型被应用于各种领域，其中包括自然语言处理和智能问答系统。随着这些模型的普及，人们对于构建自己的定制化问答系统的需求也越来越高。

在人工智能技术飞速发展的大环境下，为了满足用户对自定义问答系统的需求，利用先进的语言模型和嵌入模型，构建了一个灵活、高效的自动问答应用。在这样的背景下，LangChain-ChatGLM-Webui应运而生。本项目旨在展示如何利用先进的语言模型和嵌入模型，构建一个基于本地知识的自动问答应用。通过该应用，用户可以上传自己的文本数据，并利用预训练的语言模型和嵌入模型来实现问答功能。同时，项目提供了一个友好的 Web 用户界面，使用户可以方便地进行操作，并且支持多种模型和嵌入模型的选择，以满足不同用户的需求和偏好。

在部署方面，本项目提供了基于多个社区的部署选项，包括HuggingFace社区、ModelScope魔搭社区和飞桨AIStudio社区。这些社区提供了各种平台和工具，使用户可以轻松部署和使用本项目的功能。

13.2  项目介绍

本项目的名字是LangChain-ChatGLM-Webui，是一个开源项目，开源地址是：https://github.com/X-D-Lab/LangChain-ChatGLM-Webui，如图13-1所示。

图13-1  开源项目

本项目基于 LangChain 和 ChatGLM-6B 系列模型的 Web 聊天系统，提供了基于本地知识的大型语言模型应用，支持上传各种文本格式文件，并提供了多个模型文件和嵌入模型选择。用户可以选择不同的模型和嵌入模型来进行自定义操作，系统支持多种模型，如 ChatGLM-6B 和 Belle 等，并提供了 HuggingFace 版本和 ModelScope 版本。

13.2.1  实现流程

本项目的实现流程如下所示：

（1）选择预训练模型和嵌入模型

1. 从HuggingFace和ModelScope社区选择合适的预训练模型，例如ChatGLM-6B。
2. 选择适合的嵌入模型，如rocketqa-zh-base-query。

（2）构建知识库

1. 利用PaddleNLP进行文本嵌入，将文本数据转换为向量表示。
2. 使用FAISS构建知识库，以便快速检索相关信息。

（3）搭建问答系统

1. 基于所选预训练模型和嵌入模型，实现问答系统的核心功能。
2. 使用LangChain和大型语言模型系列模型，构建基于本地知识的自动问答应用。

（4）设计Web界面

1. 使用Gradio设计用户友好的Web界面，支持用户上传文本文件和输入问题。
2. 设计交互式界面，包括模型选择、文件上传、问题输入和结果展示等功能。

（5）部署和测试

1. 将项目部署到HuggingFace、ModelScope或飞桨AIStudio等平台。
2. 对部署后的应用进行测试和调试，确保功能稳定和可靠。

（6）优化和改进

1. 根据用户反馈和需求不断优化和改进项目，包括模型选择、界面设计、性能优化等方面。
2. 定期更新预训练模型和嵌入模型，以提升问答系统的准确性和效率。

通过以上流程，实现了一个基于本地知识的自动问答应用，并提供了用户友好的Web界面，使用户能够方便地上传文本文件并进行问题查询，从而实现智能问答功能。

13.2.2  核心技术栈

实现本项目的核心技术栈如下：

1. HuggingFace Transformers：利用HuggingFace Transformers库选择和加载预训练的语言模型，如ChatGLM-6B。
2. PaddleNLP：利用PaddleNLP进行文本嵌入，将文本数据转换为向量表示，用于构建知识库。
3. Gradio：使用Gradio构建用户友好的Web界面，支持用户上传文本文件和输入问题，并展示结果。
4. FAISS：使用FAISS构建知识库，以便快速检索相关信息，提高问答系统的效率。
5. LangChain：利用LangChain和大型语言模型系列模型，构建基于本地知识的自动问答应用。
6. ModelScope：在部署中可能使用ModelScope平台，利用其提供的服务进行模型的推理、训练、部署和应用。
7. 飞桨AIStudio：部署在飞桨AIStudio平台，利用其提供的环境和资源进行项目的部署和测试。

13.2.3  模块结构

本项目的模块结构如下：

1. 准备工作

1. 系统配置：这个模块包含了项目的所有配置信息，例如文件路径、模型参数、网络设置等。通过集中管理这些信息，可以方便地进行统一修改和管理。
2. 数据处理模块：存放 NLTK 库所需的数据，这些数据包括词性标注器、分词器、停用词等。这个模块的存在使得 NLTK 在使用时可以直接访问所需的数据，提高了代码的可读性和可维护性。
3. 文本拆分：提供了中文文本分句的功能，这在处理中文文本时非常有用。通过这个模块，可以将长篇文本拆分成句子，从而更好地进行语义理解和处理。

2. 系统架构

1. 加载LLM模型：这个模块负责加载预训练的大型语言模型（LLM），例如 ChatGLM-6B、BELLE、Vicuna 等。加载模型是系统运行的第一步，它为后续的任务提供了基础支持。
2. 使用LLM模型：这个模块包含了对加载的LLM模型的使用方法，例如生成文本、对话处理等。通过这个模块，可以充分利用LLM模型的强大功能，完成各种自然语言处理任务。
3. 实现Web端的问答系统： 这个模块将LLM模型集成到Web应用程序中，使用户可以通过浏览器与系统进行交互。用户可以在Web界面上输入问题，系统将使用LLM模型生成回答，并将结果返回给用户。

3. 部署体验

1. 基于ModelScope：这个模块基于 ModelScope 平台，提供了一系列与模型相关的服务和体验。包括基于 ChatGLM-6B 的生成器、嵌入模型包装类以及基于 Gradio Web 的问答系统，为用户提供了丰富的交互体验。
2. 基于飞桨AIStudio：这个模块基于飞桨AIStudio平台，提供了基于 PaddleNLP 的LLM模型、PaddleNLP 嵌入包装、基于命令行的对话程序以及基于 Gradio Web 的问答系统。飞桨AIStudio提供了强大的资源和环境支持，使得部署和运行模型变得更加简单和高效。
3. 基于Docker： 这个模块提供了基于 Docker 容器的部署方案，可以将整个系统打包成一个容器镜像，方便部署到各种不同的环境中，并且具有良好的可移植性和可扩展性。
4. Jina Serving API：这个模块基于 Jina Serving API，提供了一种灵活、高效的模型服务部署方案。Jina Serving API支持分布式部署和动态扩展，可以满足大规模部署和高并发请求的需求。

本项目的模块结构图如图13-2所示。

图13-2  模块结构图