当前位置:   article > 正文

Fine-tune BERT for Extractive Summarization代码复现数据处理篇_fine-tune bert for extractive summarization复现

fine-tune bert for extractive summarization复现

疫情期间在家学习,期间学习到Fine-tune BERT for Extractive Summarization。将bert模型运用于抽取式文本摘要中,第一部分是数据处理篇。

代码复现需要的文件包,原论文都会提供的有,其GitHub链接
数据集因为谷歌云盘下载起来比较麻烦,像bert_data、cnn/dailymail数据集在下方可寻。
一、环境要求
pytorch=1.4.0,python=3.6
另外需要安装StanfordCoreNLP(数据处理部分的重点安装部分,也是难点)
我的电脑系统是win10,首先需要安装JDK1.8以上都行,然后去官网下载StanfordCoreNLP。一般下载两个包,见下图。在这里插入图片描述可以通过原论文提供的链接进入官网,下载相应的文件。我按照原论文下载的3.8.0的包,以及一个English包。3.8.0的包解压,并将English包放入其中。
JDK的安装需要小心其中的路径,很容易出错。参考此文章
*
二、数据处理*
1、Sentence Splitting and Tokenization部分
其次一个需要特别注意的地方,运行数据处理部分代码会出现:找不到或无法加载主类 edu.stanford.nlp.pipeline.StanfordCoreNLP。

在这个地方挣扎了快一天,终于解决了相应的问题,究其原因还是因为路径的原因。最初我将StanfordCoreNLP的包放在了G盘,不知为何就是加载不上来。路径改了又改还是错误,最后将StanfordCoreNLP的包放在了C盘下,并且在源代码上进行了更改。
我在data_builder.py文件的232行,加上了’-cp’, r’C:\Users\stanford-corenlp-full-2017-06-09\stanford-corenlp-3.8.0.jar’,具体如下图
在这里插入图片描述具体路径还要看你StanfordCoreNLP包放的地方。
2、Format to Simpler Json Files部分
同样在运行原命令行是出现了问题,运行之后没有任何的输出。通过调试发现代码中貌似缺了一行,不知道是我环境的问题,还是源代码就出现的问题。我在该部分加了一句截取字符串,如果出现类似问题可以尝试一下。具体如下图:其中84是路径的长度,可以输出一下real_name自行查看自己的路径长度
3、Format to PyTorch Files部分
该部分的话相对比较好调试,唯一的问题在于路径,需要在自己文件加下建一个这样的文件夹,具体原因我还在看。如下图
在这里插入图片描述就单单数据预处理部分,就弄了一天多,效率着实比较慢。
公众号{江湖硕士},回复{cnn/dailymail数据集}下载相应文件

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/473647
推荐阅读
相关标签
  

闽ICP备14008679号