我家小花儿

这个屌丝很懒，什么也没留下！

热门标签

阿里云交互式建模（PAI-DSW）训练并微调推理ChatGLM模型_交互式建模(dsw)

作者：我家小花儿 | 2024-07-03 13:09:50

踩

交互式建模(dsw)

参考内容为《轻量微调和推理ChatGLM模型实践》

点击“交互式建模（DSW）”，然后选择“创建实例”
在这里插入图片描述

写上实例名称，然后选择GPU规格，选择“ecs.gn6v-c8g1.2xlarge(8 vCPU，32GB)”
在这里插入图片描述

页面往下拉选择“pytorch:1.12-gpu-py39-cu113-ubuntu20.04”这个官方镜像，然后点击下一步。
在这里插入图片描述

在确认订单这里点击创建实例。
在这里插入图片描述

等着状态是运行中，然后点击打开。
在这里插入图片描述

选择notebook中Python 3（ipykernel）。
在这里插入图片描述

进入到下边的页面。
在这里插入图片描述

import os
dsw_region = os.environ.get("dsw_region")
url_link = {
    "cn-shanghai": "https://atp-modelzoo-sh.oss-cn-shanghai-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-hangzhou": "https://atp-modelzoo.oss-cn-hangzhou-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-shenzhen": "https://atp-modelzoo-sz.oss-cn-shenzhen-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz",
    "cn-beijing": "https://atp-modelzoo-bj.oss-cn-beijing-internal.aliyuncs.com/release/tutorials/chatGLM/ChatGLM-6B-main.tar.gz", 
}
1
2
3
4
5
6
7
8

执行上边代码获取当前地域的下载链接。
在这里插入图片描述

添加代码框。
在这里插入图片描述

path = url_link[dsw_region]
os.environ['LINK_CHAT'] = path
!wget $LINK_CHAT
!tar -xvf ChatGLM-6B-main.tar.gz
1
2
3
4

根据获取到的下载链接下载ChatGLM-6B数据。
在这里插入图片描述

!cd ChatGLM-6B-main && pip install -r requirements.txt && \
pip install rouge_chinese nltk jieba datasets 
1
2

安装相关依赖。
在这里插入图片描述

执行完成之后：
在这里插入图片描述

!cd ChatGLM-6B-main/ptuning && wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/chatGLM/AdvertiseGen_Simple.zip && unzip AdvertiseGen_Simple.zip获取公共样例数据（AdvertiseGen_Simple）。
在这里插入图片描述

!cd ChatGLM-6B-main/ptuning && bash train.sh模型微调。生成的模型文件保存在./ChatGLM-6B-main/ptuning/chatglm-6b路径下。
在这里插入图片描述

!cd ChatGLM-6B-main/ptuning && bash evaluate.sh进行模型推理。
在这里插入图片描述

模型推理成功后，生成的推理结果保存在./ChatGLM-6B-main/ptuning/output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt。

鼠标点击对应目录两下。
在这里插入图片描述

鼠标点击web_demo.py两下。
在这里插入图片描述

图中圈中的部分都改成./ptuning/output/adgen-chatglm-6b-pt-8-1e-2/checkpoint-6，然后按下Ctrl+s进行保存。
在这里插入图片描述

点击“Untitled.ipynb”。
在这里插入图片描述

!pwd看一下当前目录，!ls -l看一下当前目录里边的内容。
在这里插入图片描述

!cd ChatGLM-6B-main/ && python web_demo.py进入到目录里边，然后启动ChatGLM Web端，可以点击http://127.0.0.1:7860。
在这里插入图片描述

显示页面如下图：
在这里插入图片描述

问它“什么是ChatGPT中的GPT？”，然后点击Generate。
在这里插入图片描述

在控制台点击删除。
在这里插入图片描述
选择删除实例。

删除完成之后如下图：
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/783255