当前位置:   article > 正文

MLM之GLM-4:GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

glm-4-9b

MLM之GLM-4:GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

背景痛点:目前主流的大语言模型如GPT-3等,在多轮对话能力、多语言能力、长文本理解能力以及对工具和代码调用能力等方面存在一定限制。

解决方案

>> 在2024年6月5日,智谱AI重磅发布GLM-4系列开源模型,包括GLM-4-9B、GLM-4-9B-Chat等基础模型,以及GLM-4-9B-Chat-1M等支持长文档的模型。

>> GLM-4系列模型通过在预训练阶段采用自回归填空任务,加入额外任务数据,提升了多轮对话、多语言、长文本和工具调用等综合能力。

>> 并发布GLM-4V-9B多模态语言模型,支持视觉理解能力。

核心思路和步骤

>> 使用自回归任务进行预训练,填空任务让模型学习全面理解上下文。

>> 在预训练阶段加入工具调用和代码执行等额外数据,使模型具备相关能力。

>> 提供开源实现,开放接口和基线,方便其他研究者使用和进一步优化模型。

>> 通过公开任务和数据集,验证模型在各个方面的优异性能,比如多轮对话、多语言、长文本等综合性能超越现有模型。

>> 发布GLM-4V-9B多模态模型,支持视觉理解任务,在评测中也表现出优异成绩。

GLM-4系列试图通过自回归预训练任务和额外数据,提升语言模型在综合能力方面的表现,并开源实现和接口,方便应用和研究

目录

GLM模型系列

LLMs之GLM-130B/ChatGLM-1:《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读

LLMs之ChatGLM-2:ChatGLM2-6B的简介、安装、使用方法之详细攻略

LLMs之ChatGLM-3:ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之GLM-4:GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略

MLM之GLM-4:GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

GLM-4的简介

Model List

评测结果

对话模型典型任务

基座模型典型任务

长文本

多语言能力

工具调用能力

多模态能力

GLM-4-9B的安装和使用

1、GLM-4-9B的安装

设备和依赖检查

相关推理测试数据

GLM-4-9B-Chat

GLM-4-9B-Chat-1M

GLM-4V-9B

最低硬件要求:内存不少于 32 GB、支持 BF16 推理的 GPU 设备

2、快速调用

使用以下方法快速调用 GLM-4-9B-Chat 语言模型

T1、使用 transformers 后端进行推理:

T2、使用 vLLM 后端进行推理

使用以下方法快速调用 GLM-4V-9B 多模态模型

T1、使用 transformers 后端进行推理

3、基础功能调用:使用 GLM-4-9B 开源模型进行基本的任务

使用 transformers 后端代码

使用 vLLM 后端代码

压力测试

4、完整功能演示:GLM-4-9B的All Tools 能力、长文档解读和多模态能力的展示

安装

运行

使用

(1)、All Tools:模型自主决定进行工具调用、连续调用多个工具、先调用工具后绘图

自定义工具

(2)、文档解读:暂不支持不支持工具调用和系统提示词

(3)、多模态:不支持工具调用和系统提示词

5、GLM-4-9B Chat 对话模型微调:支持lora、p-tuning v2、SFT

硬件检查:Ubuntu 22.04、CUDA 12.3

~~~~多轮对话格式微调~~~~

第一步,微调数据格式:对于数据文件,样例采用如下格式

仅希望微调模型的对话能力而非工具能力:{system-user-assistant-observation-assistant}

不带有工具的例子:{user-assistant}

带有工具调用的例子:{tools→system-user-assistant-observation-assistant}

第二步,配置文件

deepspeed 配置文件:ds_zereo_2 / ds_zereo_3.json:

PEFT配置文件:`lora.yaml / ptuning_v2

参数对比:ptuning_v2参数配置、lora参数配置

第三步,开始微调:基于deepspeed 加速,单机多卡/多机多卡

从保存点进行微调

MLM之GLM-4:GLM-4-9B源码解读(finetune.py)模型微调与评估的完整实现——定义命令行参数→加载微调配置/模型/分词器/数据管理器→定义数据集(训练集/验证集/测试集)→模型训练(梯度检查点/支持从检查点恢复训练)→模型评估(存在测试数据集/基于ROUGE和BLEU分数)

第四步,使用微调后的模型

在 inference.py 中验证微调后的模型

MLM之GLM-4:GLM-4-9B源码解读(inference.py)加载预训练的因果语言模型基于用户提问实现对话生成——定义对话消息模板{system+tools+user}→加载模型和分词器→利用apply_chat_template函数应用对话模板(将消息转换为模型输入格式)→定义生成参数并生成输出→解码输出并打印响应

在本仓库的其他 demo 或者外部仓库使用微调后的模型

GLM-4-9B的案例应用

LLMs之GLM-4:基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9B训练(LoRA/P-Tuning v2微调)+推理案例的全流程实战


GLM模型系列

LLMs之GLM-130B/ChatGLM-1:《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读

LLMs之GLM-130B/ChatGLM:《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读-CSDN博客

LLMs之ChatGLM-2:ChatGLM2-6B的简介、安装、使用方法之详细攻略

LLMs之ChatGLM2:ChatGLM2-6B的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客

LLMs之ChatGLM-3:ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略

LLMs之ChatGLM3:ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装、使用方法之详细攻略-CSDN博客

LLMs之GLM-4:GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略

LLMs之GLM-4:GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略-CSDN博客

MLM之GLM-4:GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略

MLM之GLM-4:GLM-4-9B的简介、安装和使用方法、案例应用之详细攻略-CSDN博客

GLM-4的简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中, GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话,GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用(Function Call)和长文本推理(支持最大 128K 上下文)等高级功能。本代模型增加了多语言支持,支持包括日语,韩语,德语在内的 26 种语言。我们还推出了支持 1M 上下文长度(约 200 万中文字符)的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力,在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中,GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能

Github地址https://github.com/THUDM/GLM-4/tree/main

Model List

ModelTypeSeq LengthDownloadOnline Demo
GLM-4-9BBase8Khttps://www.wpsshop.cn/w/人工智能uu/article/detail/774402
推荐阅读
相关标签