当前位置:   article > 正文

【官方教程】ChatGLM-6B 微调,最低只需 7GB 显存

chatglm-6b 微调

点击蓝字

9dab2680e52147e733e651f6cdadd81b.jpeg

关注我们

AI TIME欢迎每一位AI爱好者的加入!

内容来自:GLM大模型

43c44e643c36660ef3008a85841e4f27.jpeg

自3月14日开源以来,ChatGLM-6B 模型广受各位开发者关注。截止目前仅 Huggingface 平台已经有 32w+ 下载,Github Star 数量超过11k。

e85487ae86e72d504143e24affbdff47.png

为了促进 ChatGLM-6B 模型在各垂直领域的应用,我们现推出基于 P-Tuning v2  的微调方案。

7d401c31a25f2e1d41cc2cce86684c5c.png

P-Tuning v2 将需要微调的参数量减少到原来的 0.1%,再通过模型量化、Gradient Checkpoint 等方法,最低只需要 7 GB 显存即可运行。

e0a6e2845fe0427fb7f23f07ca125813.png

下面以 ADGEN (广告生成) 数据集为例介绍代码的使用方法。

一、软件依赖

除 ChatGLM-6B 的依赖之外,还需要按照以下依赖

pip install rouge_chinese nltk jieba datasets

二、使用方法

1. 下载数据集

ADGEN 数据集任务为根据输入(content)生成一段广告词(summary)。

  1. {
  2.    "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳",
  3.    "summary": "这件衬衫的款式非常的宽松,利落的线条可以很好的隐藏身材上的小缺点,穿在身上有着很好的显瘦效果。领口装饰了一个可爱的抽绳,漂亮的绳结展现出了十足的个性,配合时尚的泡泡袖型,尽显女性甜美可爱的气息。"
  4. }

从 Google Drive 或者 Tsinghua Cloud 下载处理好的 ADGEN 数据集,将解压后的 AdvertiseGen 目录放到本目录下。

  1. Google Drivehttps://drive.google.com/file/d/13_vf0xRTQsyneRKdD1bZIr93vBGOczrk/view
  2. Tsinghua Cloudhttps://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1

2. 训练

运行以下指令进行训练:

bash train.sh

train.sh 中的 PRE_SEQ_LEN 和 LR 分别是 soft prompt 长度和训练的学习率,可以进行调节以取得最佳的效果。P-Tuning-v2 方法会冻结全部的模型参数,可通过调整 quantization_bit 来被原始模型的量化等级,不加此选项则为 FP16 精度加载。

在默认配置 quantization_bit=4per_device_train_batch_size=1gradient_accumulation_steps=16 下,INT4 的模型参数被冻结,一次训练迭代会以 1 的批处理大小进行 16 次累加的前后向传播,等效为 16 的总批处理大小,此时最低只需 6.7G 显存。若想在同等批处理大小下提升训练效率,可在二者乘积不变的情况下,加大 per_device_train_batch_size 的值,但也会带来更多的显存消耗,请根据实际情况酌情调整。

3. 推理

将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称,运行以下指令进行模型推理和评测:

bash evaluate.sh

评测指标为中文 Rouge score 和 BLEU-4。生成的结果保存在:./output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt

4. 例子

示例1

Input: 类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞

Label: 简约而不简单的牛仔外套,白色的衣身十分百搭。衣身多处有做旧破洞设计,打破单调乏味,增加一丝造型看点。衣身后背处有趣味刺绣装饰,丰富层次感,彰显别样时尚。

Output[微调前]:这件上衣的材质是牛仔布,颜色是白色,风格是简约,图案是刺绣,衣样式是外套,衣款式是破洞。

Output[微调后]: 这是一款简约的牛仔外套,破洞设计,将牛仔布破洞,带来一种随意与个性。破洞的牛仔外套,展现出时尚气息,带来一种休闲感。同时,刺绣图案,让整件外套更加立体。

示例2

Input: 类型#裙*版型#显瘦*风格#文艺*风格#简约*图案#印花*图案#撞色*裙下摆#压褶*裙长#连衣裙*裙领型#圆领

Label: 文艺个性的印花连衣裙,藏青色底蕴,低调又大气,撞色太阳花分布整个裙身,绚丽而美好,带来时尚减龄的气质。基础款的舒适圆领,简约不失大方,勾勒精致脸庞。领后是一粒包布扣固定,穿脱十分方便。前片立体的打褶设计,搭配后片压褶的做工,增添层次和空间感,显瘦又有型。

Output[微调前]: 类型#裙版型#显瘦风格#文艺风格#简约图案#印花图案#撞色裙下摆#压褶裙长#连衣裙裙领型#圆领 1. 连衣裙:简约风格,裙长为膝盖以上,裙领型为圆领。2. 裙下摆:压褶设计,使裙摆呈现出流畅的褶皱效果。3. 裙领型:裙领型为圆领,使穿上连衣裙后更加有型。4. 版型:采用显瘦设计,让连衣裙看起来更加苗条。5. 风格:文艺风格,让连衣裙更加有内涵和品味。6. 图案:印花设计,在连衣裙上印有独特的图案。7. 撞色:采用撞色设计,让连衣裙在色彩上更加鲜明、富有层次感。

Output[微调后]: 这是一款文艺范的连衣裙,以印花为元素,采用简约的印花,既能够突出文艺气质,又能够展现简约风。在印花的同时又有领子和裙摆的压褶设计,更加凸显文艺气质。简约而不会过于单调,搭配出街,穿着十分舒适。

5. 使用自己的数据集

修改 train.sh 和 evaluate.sh 中的 train_filevalidation_filetest_file为你自己的json格式数据集路径,并将 prompt_column 和 response_column 改为 json 文件中输入文本和输出文本对应的 key 。


  1. 微调代码,参见官方Github:
  2. https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning

往期精彩文章推荐

284b9502e52b3063f43bcf76c85ae0aa.jpeg

记得关注我们呀!每天都有新知识!

 关于AI TIME 

AI TIME源起于2019年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。

迄今为止,AI TIME已经邀请了1000多位海内外讲者,举办了逾500场活动,超500万人次观看。

9cbbe505fc58d769fde3521216775837.png

我知道你

在看

~

624efd1567163784dce98fbc7654fafb.gif

点击 阅读原文 查看!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/852035
推荐阅读
相关标签
  

闽ICP备14008679号