devbox
笔触狂放9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

（19-1）操作国产大模型：LangChain与ChatGLM实践_langchain chatglm

作者：笔触狂放9 | 2024-07-10 06:10:39

赞

踩

langchain chatglm

LangChain是一个强大的工具，用于构建由语言模型（LLM）驱动的应用程序，它提供了与多种不同语言模型交互的标准接口。在本书前面的内容中，绝大多数LangChain例子都是基于OpenAI的ChatGPT模型实现的，其实LangChain可以适配并使用我们的国产模型。在本章的内容中，将详细讲解使用LangChain操作国产模型的知识。

7.2.1  LangChain与ChatGLM实践

ChatGLM 是由智谱AI推出的一系列大模型，这些模型基于大规模预训练技术，具备强大的自然语言处理能力。因为ChatGLM已经开源了包括 ChatGLM-6B在内的多个模型版本，为了降低大家的学习成本，本书将以ChatGLM-6B为例介绍LangChain操作ChatGLM的知识。

1. ChatGLM介绍

ChatGLM-6B是ChatGLM大模型系列中的一个开源模型（开源地址https://github.com/THUDM/ChatGLM-6B），这个模型基于General Language Model (GLM)架构，拥有62亿参数，并且特别针对中文进行了优化。ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力，并且通过模型量化技术，可以在消费级的显卡上进行本地部署，INT4量化级别下最低只需6GB显存。

ChatGLM系列大模型包括但不限于对话生成、智能问答等任务，而LangChain可以适配并使用这些模型。ChatGLM的基本信息如下所示：

  1. 模型支持：LangChain支持ChatGLM模型，并且有专门的第三方实现集中在LangChain-Community库中。
  2. 集成ChatGLM：开发者可以通过继承LangChain提供的基类并实现相关方法来创建自定义的ChatModel，从而集成ChatGLM模型。
  3. API适配：为了适配ChatGLM的API，开发者可能需要自定义适配器，并确保与LangChain的接口兼容。
  4. 使用示例：有教程和代码示例说明了如何在本地环境中部署ChatGLM模型，并与LangChain结合使用，以创建知识库和执行问答任务。
  5. 微调和应用：LangChain不仅可以加载和运行ChatGLM模型，还可以用于模型的微调和在特定领域的应用。
  6. 开源社区：LangChain的开源社区提供了多种集成和应用示例，包括与ChatGLM模型的集成。
  7. 模型升级：LangChain能够支持ChatGLM模型的更新，并实现接口的兼容性，这表明LangChain能够适应模型的升级和变化，保持应用的连续性。
  8. 文档和教程：存在详细的文档和教程，帮助用户理解如何将ChatGLM与LangChain结合使用，包括如何加载模型、处理文件、向量化文本、以及如何使用LangChain进行问答。

2. 准备开发环境

建议直接参考ChatGLM-6B开源地址中的配置文件https://github.com/THUDM/ChatGLM-6B/blob/main/requirements.txt：

  1. protobuf
  2. transformers==4.27.1
  3. cpm_kernels
  4. torch>=1.10
  5. gradio
  6. mdtex2html
  7. sentencepiece
  8. accelerate

通过如下命令安装所需要的库：

pip install -r requirements.txt

3. 准备模型文件

在目前的就似乎条件下，可以通过如下三种方法准备文件：

（1）直接从huggingface模型仓库拉取模型文件，这种方法的缺点是需要先安装Git LFS，拉取速度很慢。

git clone https://huggingface.co/THUDM/chatglm-6b

（2）从huggingface模型残酷拉取模型实现，然后从清华仓库下载模型参数文件，然后替换到chatglm-6b文件夹中。

  1. GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b
  2. # 下载模型参数文件...
  3. mv chatglm-6b/* THUDM/chatglm-6b/

（3）通过使用transformers库中的类AutoTokenizer和类AutoModel，自动实现ChatGLM-6B模型和分词器的下载及加载工作。

  1. import os
  2. from transformers import AutoTokenizer, AutoModel
  3. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  4. model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

请看下面的实例，演示了实用第三种方法调用ChatGLM-6B模型进行对话的过程。

实例7-1：使用自定义的LLM返回输入信息中的前n个字符（源码路径：codes\7\qing.py）

实例文件qing.py的具体实现代码如下所示。

  1. import os
  2. from transformers import AutoTokenizer, AutoModel
  3.  
  4. # 指定使用编号为0的GPU
  5. os.environ["CUDA_VISIBLE_DEVICES"] = "0"
  6.  
  7. # 加载分词器和模型
  8. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  9. model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  10.  
  11. # 将模型发送到GPU，并设置为评估模式
  12. model = model.to('cuda')  # 这将模型移动到默认的GPU上
  13. model = model.eval()
  14.  
  15. # 将模型转换为半精度
  16. model.half()
  17. human_input = "你好"
  18. response, history = model.chat(tokenizer, human_input, history=[])
  19.  
  20. print(f"Human: {human_input}")
  21. print(f"AI: {response}")

上述代码的目的是使用库transformers从Hugging Face模型库中加载并运行一个名为"THUDM/chatglm-6b"的预训练对话模型，以下是代码的详细步骤和功能：

（1）环境设置：os.environ["CUDA_VISIBLE_DEVICES"] = "0"：这行代码设置了环境变量，指定程序只能看到编号为0的GPU。如果你的系统中有多个GPU，这可以用来决定哪个GPU用于模型的推理或训练。

（2）加载分词器和模型

  1. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)：加载与"THUDM/chatglm-6b"模型配套的分词器。分词器用于将文本转换为模型可以理解的格式。
  2. model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)：加载预训练的"THUDM/chatglm-6b"模型。trust_remote_code=True参数允许加载远程代码，这在加载自定义或第三方模型时是必需的。

（3）准备模型进行推理

  1. model = model.to('cuda')：将模型的权重移动到GPU上，以利用GPU加速模型的推理过程。这一步假定你的机器上安装了NVIDIA的GPU和CUDA。
  2. model = model.eval()：将模型设置为评估模式，这通常关闭了模型训练时使用的特定功能，如dropout。

（4）model.half()：将模型转换为半精度（float16），这可以减少模型在GPU上的内存占用，允许更大的模型或批量大小，但也需要硬件和深度学习框架支持半精度运算。

（5）生成对话响应

  1. human_input = "你好"：定义人类的输入文本。
  2. response, history = model.chat(tokenizer, human_input, history=[])：调用模型的chat方法来生成响应。这个方法需要分词器、用户的输入，以及对话历史。

（6）打印结果：最后，代码打印输出了用户的输入和AI生成的回答响应。执行后会输出：

  1. Loading checkpoint shards: 100%|██████████| 8/8 [00:38<00:00,  4.87s/it]
  2. Human: 你好

AI: 你好��！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

4. 模型服务调用接口

在大模型开发应用中，模型服务调用接口（API）扮演着至关重要的角色，主要体现在以下几个方面：

  1. 封装复杂性：API为终端用户或下游应用提供了一个简单、标准化的接口来与模型交互，隐藏了背后的复杂实现细节。
  2. 可访问性：通过API，用户可以远程访问模型的推理能力，而无需了解模型的内部工作原理或直接与模型文件交互。
  3. 扩展性：API允许模型服务水平扩展，以支持大量并发请求，满足不同规模用户的需求。
  4. 灵活性：API可以轻松地集成到不同的应用程序中，包括Web应用、移动应用、聊天机器人、以及其他第三方服务。
  5. 安全性：API服务器可以实现认证和授权机制，确保只有合法用户可以调用模型服务。
  6. 监控和管理：API服务器可以集成监控和日志记录工具，以跟踪模型的使用情况，及时发现并解决潜在问题。
  7. 版本控制：通过API，可以更容易地对模型进行版本控制和更新，而不会影响现有用户。
  8. 负载均衡：API服务器可以分配请求到多个模型实例，实现负载均衡，提高服务的可用性和响应速度。
  9. 计费和配额管理：API可以用于实现计费系统，对使用模型的频率和次数进行限制和跟踪。
  10. 跨平台兼容性：API使得模型服务可以跨越不同的操作系统和编程语言，提供广泛的兼容性。
  11. 简化部署：API允许开发者将模型作为服务（Model as a Service, MaaS）部署，简化了部署和运维流程。
  12. 促进协作：API可以作为团队或组织之间协作的基础，允许不同团队独立地开发、部署和使用模型。

在实际应用中，模型服务调用接口通常是通过HTTP协议实现的，使用RESTful或GraphQL等风格。这些接口可以返回JSON、XML或其他格式的数据，以便于客户端处理。通过精心设计API，可以提高大模型的可用性、灵活性和整体的用户体验。

请看下面的例子，使用Flask技术实现了一个简单的模型服务调用接口。在这个Web应用中，使用库transformers加载了一个预训练的对话模型ChatGLM-6B，并提供了一个HTTP端点来接收用户的输入并返回模型的响应。

实例7-2：使用Flask实现一个简单的模型服务调用接口（源码路径：codes\7\diao.py）

实例文件diao.py的具体实现代码如下所示。

  1. import os
  2. import json
  3. from flask import Flask, request, jsonify
  4. from transformers import AutoTokenizer, AutoModel
  5.  
  6. # 系统参数
  7. os.environ["CUDA_VISIBLE_DEVICES"] = "0"
  8.  
  9. # 加载分词器和模型
  10. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  11. model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  12. model = model.to('cuda')  # 将模型发送到GPU
  13. model = model.eval()  # 将模型设置为评估模式
  14. model.half()  # 将模型转换为半精度
  15.  
  16. app = Flask(__name__)
  17.  
  18. @app.route("/", methods=["GET"])
  19. def root():
  20.     ""“根路由响应。”""
  21.     return "这是主页."
  22.  
  23. @app.route("/chat", methods=["POST"])
  24. def chat():
  25.     """处理聊天请求."""
  26.     # 从POST请求中获取JSON数据
  27.     data = request.json
  28.     human_input = data.get("human_input", "")
  29.  
  30.     # 从模型生成响应
  31.     response, _ = model.chat(tokenizer, human_input, history=[])
  32.  
  33.     # 创建一个结果字典
  34.     result = {
  35.         "human_input": human_input,
  36.         "ai_response": response
  37.     }
  38.  
  39.     # 将响应作为JSON返回
  40.     return jsonify(result)
  41.  
  42. if __name__ == "__main__":
  43.     app.run(host="127.0.0.1", port=8595, debug=False)

上述代码的实现流程如下所示：

（1）设置环境变量：使用os.environ指定程序只能看到编号为0的GPU，这样模型训练或推理时只会使用这个GPU。

  1. 加载模型和分词器
  1. 使用AutoTokenizer.from_pretrained和AutoModel.from_pretrained方法加载预训练的分词器和模型，将模型发送到GPU（如果可用）。
  2. 将模型设置为评估模式，关闭某些训练时使用的特性，如dropout。
  3. 将模型转换为半精度，以节省GPU内存。

（3）初始化Flask应用：创建一个Flask应用实例。

（4）定义路由和视图函数，使用@app.route装饰器定义两个路由：

  1. /：根路由，返回欢迎信息。
  2. /chat：聊天路由，处理POST请求，生成并返回聊天响应。

（5）聊天视图函数 (chat())

  1. 从POST请求的JSON数据中获取用户输入，使用模型和分词器生成AI的响应创建一个包含用户输入和AI响应的字典。
  2. 使用jsonify将结果字典转换为JSON格式的响应，并返回。

（6）运行Flask应用：使用app.run()启动Flask应用，监听127.0.0.1的8595端口，不开启调试模式。

（8）客户端请求处理：当客户端（如Web浏览器、API测试工具或自定义脚本）发送POST请求到/chat端点时，Flask应用将处理这个请求，并返回AI的响应。

执行实例文件diao.py后会输出：

  1. Loading checkpoint shards: 100%|██████████| 8/8 [00:48<00:00,  6.12s/it]
  2.  * Serving Flask app 'diao'
  3.  * Debug mode: off
  4. * Running on http://127.0.0.1:8595

打开一个新的命令行窗口（例如CMD或curl），然后运行以下命令：

curl -X POST -H "Content-Type: application/json" -d "{\"human_input\": \"你好\"}" http://127.0.0.1:8595/chat

上述命令会向Flask应用发送一个JSON格式的POST请求，请求体包含一个键为human_input，值为“你好”的字符串。按下回车键后会获得ChatGLM-6B的回复信息，完整的执行过程如下：

  1. C:\Users\37197>curl -X POST -H "Content-Type: application/json" -d "{\"human_input\": \"你好\"}" http://127.0.0.1:8595/chat
  2. {"response": "你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/805085?site
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。