昇思25天学习打卡营第十六天|基于MindSpore的GPT2文本摘要

背景

提供免费算力支持，有交流群有值班教师答疑的华为昇思训练营进入第十六天了。
今天是第十六天，从第十天开始，进入了应用实战阶段，前九天都是基础入门阶段，具体的学习内容可以看链接
基础学习部分
昇思25天学习打卡营第一天|快速入门
昇思25天学习打卡营第二天|张量 Tensor
昇思25天学习打卡营第三天|数据集Dataset
昇思25天学习打卡营第四天|数据变换Transforms
昇思25天学习打卡营第五天|网络构建
昇思25天学习打卡营第六天|函数式自动微分
昇思25天学习打卡营第七天|模型训练
昇思25天学习打卡营第八天|保存与加载
昇思25天学习打卡营第九天|使用静态图加速
应用实践部分
昇思25天学习打卡营第十天|CycleGAN图像风格迁移互换
昇思25天学习打卡营第十一天|DCGAN生成漫画头像
昇思25天学习打卡营第十二天|Diffusion扩散模型
昇思25天学习打卡营第十三天|GAN图像生成
昇思25天学习打卡营第十四天|Pix2Pix实现图像转换
昇思25天学习打卡营第十五天|基于 MindSpore 实现 BERT 对话情绪识别

学习内容

数据集加载与处理

1. 数据集加载

   本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

2. 数据预处理

   原始数据格式：

   article: [CLS] article_context [SEP]
   summary: [CLS] summary_context [SEP]
   1
   2

   预处理后的数据格式：

   [CLS] article_context [SEP] summary_context [SEP]
   1

   因GPT2无中文的tokenizer，我们使用BertTokenizer替代。

模型构建

3. 构建GPT2ForSummarization模型，注意shift right的操作。
4. 动态学习率

模型训练

模型推理

数据处理，将向量数据变为中文数据

model = GPT2LMHeadModel.from_pretrained('./checkpoint/gpt2_summarization_epoch_0.ckpt', config=config)
model.set_train(False)
model.config.eos_token_id = model.config.sep_token_id
i = 0
for (input_ids, raw_summary) in test_dataset.create_tuple_iterator():
    output_ids = model.generate(input_ids, max_new_tokens=50, num_beams=5, no_repeat_ngram_size=2)
    output_text = tokenizer.decode(output_ids[0].tolist())
    print(output_text)
    i += 1
    if i == 1:
        break
1
2
3
4
5
6
7
8
9
10
11

总结

文本摘要功能在很多地方都有应用，是效率提高神器。这节课非常有意义。