chatglm4本地部署详解

下载地址

模型下载地址：GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址：

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu：E5-2680v4

内存：32G

显卡：Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要：

• Python >= 3.10
• 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码，您还需要：

• Linux 操作系统 (Debian 系列最佳)
• 大于 8GB 显存的，支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练，推理有小概率出现问题)

一、下载

（一）打开模型安装地址，点击下载

（二）打开已经训练好的数据下载地址，依次点击下载。超过1G的，建议使用迅雷云盘。

二、安装依赖

（一）安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖

使用命令：（反复执行，直到安装成功）

为保证减少连接失败造成的安装失败，建议尝试使用科学方法，你懂的

pip install -r requirements.txt

安装完毕的样子：

（二）安装失败的解决方案

安装失败，基本都是因为下载时连接失败或者连接断开造成，解决方案主要是两种：

        一种是，指定源地址下载

        另一种是，手动从web下载安装文件后安装

1. transformers==4.40.0载失败

        解决办法：指定清华源下载

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

 2. accelerate>=0.30.1下载失败

        accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。

        解决方法：可以在该版本下载页面下载安装文件accelerate · PyPI（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。）

        使用下面命令进行安装

pip install accelerate-0.31.0-py3-none-any.whl 
 

 

        安装成功显示如下：

3. matplotlib下载失败

        解决方法：直接在requirements.txt文件中，将>=3.9.0删除。即不约束版本号

4. PyMuPDF下载失败

        解决方法：

（1）先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

        PyMuPDF手动安装：下载地址PyMuPDFb · PyPI

        安装命令：

pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

（2）再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl

        下载地址：PyMuPDF · PyPI

        安装命令：

pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl 

5. python_docx-1.1.2下载失败

        下载地址：python-docx · PyPI

        安装命令： 

pip install python_docx-1.1.2-py3-none-any.whl

 6. python-pptx 0.6.23 下载失败

下载地址：python-pptx · PyPI

安装命令：

pip install python_pptx-0.6.23-py3-none-any.whl 

（1）执行安装时，过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败！

        下载地址：XlsxWriter · PyPI

安装命令：

pip install XlsxWriter-3.2.0-py3-none-any.whl 

最后，重新安装

pip install python_pptx-0.6.23-py3-none-any.whl 

7.streamlit-1.35.0下载失败

        下载地址：streamlit · PyPI

        安装命令

pip install streamlit-1.35.0-py2.py3-none-any.whl

8. tiktoken 0.7.0 下载失败

        下载地址：tiktoken · PyPI

        安装命令

pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 

三、测试模型

        已经下载好的模型及训练数据。

        glm-4-9b-chjat为已经训练的参数

        GLM-4-main为模型文件

（一）修改trans_cli_demo.py文件中，第18行，训练参数的位置

        把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat

 （二）执行trans_cli_demo.py

        执行命令：

python trans_cli_demo.py 

       可以执行，但是太慢了

        chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比，简直是慢动作中的慢动作。要想丝滑运行，升级硬件吧。