关于NLP模型GPT-2的学习笔记（三）

关于NLP模型GPT-2的学习笔记（三）

---

前言

前面主要介绍了GPT-2的基本原理和工作流程，本次会进行一些训练模型和模型使用的实践

---

一、准备工作

首先从github下载GPT-2的程序和部分已经训练好的模型

GPT-2模型

在下载好之后，将程序解压到制定位置，注意路径尽量不要包含中文

二、文本生成

我们先打开命令行设置路径到对应位置

在生成文本时，使用generate.py文件，其中有一些参数可以配置，在生成效果不好时可以调节，–save_samples用于保存生成的文本阳样例

三、模型训练

当进行模型训练时，使用train.py文件，在运行之前，要先选择需要训练的语料，在上面的连接中已经有可用的语料可以下载

下载好语料后，将语料放到/data/train.json文件中，注意要保证文件格式正确

做好准备工作后，就可以开始训练了，运行上一级目录的train.py开始训练，如果电脑性能不足，可以调低其中的部分参数

下面就是训练过程，等待全部结束就可以得到训练好的模型了

---

总结

到此为止本文简单介绍了GPT-2模型训练的操作方法，测试训练完成的模型的实际效果需要更多的实践来积累经验，后续会对于GPT模型进行更多的介绍。