MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略_glm-4v-9b

MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

背景痛点：目前主流的大语言模型如GPT-3等，在多轮对话能力、多语言能力、长文本理解能力以及对工具和代码调用能力等方面存在一定限制。

解决方案：

>> 在2024年6月5日，智谱AI重磅发布GLM-4系列开源模型，包括GLM-4-9B、GLM-4-9B-Chat等基础模型，以及GLM-4-9B-Chat-1M等支持长文档的模型。

>> GLM-4系列模型通过在预训练阶段采用自回归填空任务，加入额外任务数据，提升了多轮对话、多语言、长文本和工具调用等综合能力。

>> 并发布GLM-4V-9B多模态语言模型，支持视觉理解能力。

核心思路和步骤：

>> 使用自回归任务进行预训练，填空任务让模型学习全面理解上下文。

>> 在预训练阶段加入工具调用和代码执行等额外数据，使模型具备相关能力。

>> 提供开源实现，开放接口和基线，方便其他研究者使用和进一步优化模型。

>> 通过公开任务和数据集，验证模型在各个方面的优异性能，比如多轮对话、多语言、长文本等综合性能超越现有模型。

>> 发布GLM-4V-9B多模态模型，支持视觉理解任务，在评测中也表现出优异成绩。

GLM-4系列试图通过自回归预训练任务和额外数据，提升语言模型在综合能力方面的表现，并开源实现和接口，方便应用和研究。

目录

GLM模型系列

LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读

LLMs之ChatGLM-2：ChatGLM2-6B的简介、安装、使用方法之详细攻略

LLMs之ChatGLM-3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之GLM-4：GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略

MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

GLM-4的简介

Model List

评测结果

对话模型典型任务

基座模型典型任务

长文本

多语言能力

工具调用能力

多模态能力

GLM-4-9B的安装和使用

1、GLM-4-9B的安装

设备和依赖检查

相关推理测试数据

GLM-4-9B-Chat

GLM-4-9B-Chat-1M

GLM-4V-9B

最低硬件要求：内存不少于 32 GB、支持 BF16 推理的 GPU 设备

2、快速调用

使用以下方法快速调用 GLM-4-9B-Chat 语言模型

T1、使用 transformers 后端进行推理:

T2、使用 vLLM 后端进行推理

使用以下方法快速调用 GLM-4V-9B 多模态模型

T1、使用 transformers 后端进行推理

3、基础功能调用：使用 GLM-4-9B 开源模型进行基本的任务

使用 transformers 后端代码

使用 vLLM 后端代码

压力测试

4、完整功能演示：GLM-4-9B的All Tools 能力、长文档解读和多模态能力的展示

安装

运行

使用

(1)、All Tools：模型自主决定进行工具调用、连续调用多个工具、先调用工具后绘图

自定义工具

(2)、文档解读：暂不支持不支持工具调用和系统提示词

(3)、多模态：不支持工具调用和系统提示词

5、GLM-4-9B Chat 对话模型微调：支持lora、p-tuning v2、SFT

硬件检查：Ubuntu 22.04、CUDA 12.3

~~~~多轮对话格式微调~~~~

第一步，微调数据格式：对于数据文件，样例采用如下格式

仅希望微调模型的对话能力而非工具能力：{system-user-assistant-observation-assistant}

不带有工具的例子：{user-assistant}

带有工具调用的例子：{tools→system-user-assistant-observation-assistant}

第二步，配置文件

deepspeed 配置文件：ds_zereo_2 / ds_zereo_3.json:

PEFT配置文件：`lora.yaml / ptuning_v2

参数对比：ptuning_v2参数配置、lora参数配置

第三步，开始微调：基于deepspeed 加速，单机多卡/多机多卡

从保存点进行微调

MLM之GLM-4：GLM-4-9B源码解读(finetune.py)模型微调与评估的完整实现——定义命令行参数→加载微调配置/模型/分词器/数据管理器→定义数据集(训练集/验证集/测试集)→模型训练(梯度检查点/支持从检查点恢复训练)→模型评估(存在测试数据集/基于ROUGE和BLEU分数)

第四步，使用微调后的模型

在 inference.py 中验证微调后的模型

MLM之GLM-4：GLM-4-9B源码解读(inference.py)加载预训练的因果语言模型基于用户提问实现对话生成——定义对话消息模板{system+tools+user}→加载模型和分词器→利用apply_chat_template函数应用对话模板(将消息转换为模型输入格式)→定义生成参数并生成输出→解码输出并打印响应

在本仓库的其他 demo 或者外部仓库使用微调后的模型

GLM-4-9B的案例应用

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9B训练(LoRA/P-Tuning v2微调)+推理案例的全流程实战

---

GLM模型系列

LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读

LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读-CSDN博客

LLMs之ChatGLM-2：ChatGLM2-6B的简介、安装、使用方法之详细攻略

LLMs之ChatGLM2：ChatGLM2-6B的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客

LLMs之ChatGLM-3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略-CSDN博客

LLMs之GLM-4：GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略

LLMs之GLM-4：GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略-CSDN博客

MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

MLM之GLM-4：GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略-CSDN博客

GLM-4的简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

Github地址：https://github.com/THUDM/GLM-4/tree/main

Model List