打败GPT-4的最强开源中文大模型GLM-4终于亮相了（附：超详细搭建过程）_glm-4安装部署

GLM-4是由智谱AI推出的新一代基座预处理大模型，具有与GPT-4相近的性能，尤其在中文能力上可以比肩GPT-4。

它在多个方面进行了优化和提升，包括支持更长的上下文长度、更快的推理速度、降低推理成本，以及增强了智能体能力。

GLM-4能够处理128k的上下文窗口长度，单次提示词可以处理的文本量达到300页，在"大海捞针"测试中展现了几乎100%的精度召回能力。

此外，GLM-4在多模态能力上也有显著进展，效果超过开源SD模型，逼近DALLE-3，使其在图像识别、语音识别等领域具有广泛的应用前景。

它还具备All Tools能力，能够自主理解和执行复杂任务，调用浏览器、代码解释器等工具完成工作。用户还可以通过智谱官网创建个性化的GLM智能体，实现大模型开发定制。

在性能方面，GLM-4在多个英文数据集上的表现接近GPT-4，如MMLU、GSM8K、MATH等，展现了强大的基础能力。

同时，GLM-4在中文对齐能力上整体超过GPT-4，显示出在中文理解和处理上的优势。

glm-4开源项目的github地址为：https://github.com/THUDM/GLM-4。

目前glm-4开源了多个版本，分别如下：

1、GLM-4-9B：这是GLM-4系列中的开源版本，是一个大型的预训练语言模型。它在多语义、数学、推理、代码和知识等多方面的数据集评测中表现出色，性能超越了Llama-3-8B。

2、GLM-4-9B-Chat：这是GLM-4-9B的人类偏好对齐版本，专为聊天而优化。它支持多轮对话，并且具备网页浏览、代码执行、自定义工具调用和长文本推理等高级功能。

3、GLM-4-9B-Chat-1M：这是一个支持1M上下文长度的模型，大约可以处理200万中文字符。它为需要处理长文本的应用提供了支持。

4、GLM-4V-9B：这是一个多模态模型，具备视觉理解能力。它支持高分辨率下的中英双语多轮对话，并在多模态评测中表现出色。

此外，GLM-4模型还支持26种语言，包括日语、韩语和德语等。模型在多个评测基准上的表现都非常出色，例如在对话模型典型任务、基座模型典型任务、长文本、多语言能力和工具调用能力等方面。

一、环境安装

1、python环境：

为了兼容更新的pytorch、transformer等库，建议安装python版本在3.10以上。

2、pip包依赖安装：

首先需要安装支持cuda gpu推理的torch、torchvision以及torchaudio，建议安装2.3.0版本以上，安装命令如下：

pip install torch==2.3.0+cu118 torchvision==0.18.0+cu118 torchaudio==2.3.0 --extra-index-url https://download.pytorch.org/whl/cu118

然后，根据运行不同的glm-4模型环境，运行安装对应的requirement.txt，命令如下：

pip install -r basic_demo/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
 
pip install -r composite_demo/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
 
pip install -r finetune_demo/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3、node.js和包管理器pnpm安装：

若要使用浏览器和搜索功能，还需要启动浏览器后端。

首先，根据 Node.js(https://nodejs.org/en/download/package-manager)官网的指示安装 Node.js，然后安装包管理器 PNPM(https://pnpm.io) 之后安装浏览器服务的依赖：

cd browser
 
npm install -g pnpm
 
pnpm install

二、模型下载

glm-4官方提供了4个开源预处理模型，而且有两种下载方式，分别是huggingface以及modelscope。

1、GLM-4-9B模型

（1）huggingface git命令下载:

git lfs install
 
git clone https://huggingface.co/THUDM/glm-4-9b

（2）modelscope git命令下载:

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b.git

2、GLM-4-9B-Chat模型

（1）huggingface git命令下载:

git lfs install
 
git clone https://huggingface.co/THUDM/glm-4-9b-chat

（2）modelscope git命令下载:

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git

3、GLM-4-9B-Chat-1M模型

（1）huggingface git命令下载:

git lfs install
 
git clone https://huggingface.co/THUDM/glm-4-9b-chat-1m

（2）modelscope git命令下载:

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat-1m.git

4、GLM-4V-9B多模态模型

（1）huggingface git命令下载:

git lfs install
 
git clone https://huggingface.co/THUDM/glm-4v-9b

（2）modelscope git命令下载:

git clone https://www.modelscope.cn/ZhipuAI/glm-4v-9b.git

三、基础功能测试

首先，我们需要下载glm-4的开源仓库。

glm-4大模型的基础功能测试对显卡要求也比较高，glm-4-9b、glm-4-9b-chat和glm-4-9b-chat-1m模型运行的显存至少要19G以上，glm-4v-9b模型运行的显存至少要37G以上。

未完......

更多详细的欢迎关注：杰哥新技术