昇思25天学习打卡营第11天|munger85

基于MindSpore的GPT2文本摘要

今天来看一下文本摘要模型的训练文本摘要就是你给出一段话，然后就要把这段话做一个总结，那么总结的话肯定是要比原文要短的。
从下面的网址下载数据，这个数据很大，有5万条，所以训练的时候会很久。

由于这个训练数据是有中文的所以我们需要有一个能看得懂中文的偷，所以我们需要有一个能看得懂中文的tokernizer。那么这个东西呢会把中文变成一些数字。写一个类这个类啊要继承与于这个类才能够做到这个事情，这个类要继承于这个类才能够做到这个事情。这个类就是我们的模型啊。训练数剧大概就长这个样子。这个是用它的工具类载入以后。可以看到它的格式是这个样子。
由于tokenize是成对的，所以前面的是文章，后面的一个是总结

那么数据处理的代码是这样截取

主要是为了设置动态的学习率。在越学的步数越多，那么它的变化率就越少，在开始的时候可能会多一点。

trainer.set_amp(level=‘O1’) # 开启混合精度,课件需要相当长的时间，所以我准备把数据变少一点。比方说变到1000。

这个就是我把数据变少了变成1000。

推理

训练完成以后，我们就可以用来推理了。
那么推理的时候也是一个很长的文章，这个很长的文章也要变成数字，所以也需要用到data set的预处理。再把预处理好的数据放给模型。

那么我们就完成了一篇很长的文章可以，可以用来总结了。