基于深度学习的文本摘要自动生成（自然语言处理）-本科毕业设计（附完整代码及数据集）_生成式文摘数据集

项目介绍：
通过模型的训练得到效果较好的文本摘要模型，输入一段文本，运行程序后得到摘要。
基本环境介绍

Python3.6 + Win系统
Opencv（使用pip install opencv-python安装即可）
scipy (使用pip install scipy==1.2.1安装即可)
tensorflow (pip install tensorflow==1.7.1 安装即可)
keras (pip install keras 安装即可)
sklearn (pip install sklearn 安装即可)
h5py (pip install h5py==2.10.0 安装即可 )
1
2
3
4
5
6
7

使用模型

1.指针生成网络模型
2.加入Transformer的指针生成网络模型
1
2

实现功能示例

数据集

中文长文本：搜狗新闻数据集
中文短文本：LCSTS
英文文本：cnn/daily
1
2
3

数据集介绍
1、搜狗新闻数据集由搜狗实验室发布，数据来源为新闻媒体搜狐新闻各个频道的新闻摘要，共约1245万个样本，其中每篇文本平均约500字符，所对应的摘要平均约20字符。

2、LCSTS数据集由哈工大人工智能实验室发布，数据来源为社交媒体新浪微博上的新闻摘要，共约210万个样本，其中每篇文本平均约100字符，所对应的摘要平均约20字符。

3、CNN /Daily Mail数据集数据来源为CNN和每日邮报，共约31万个样本，其中每篇文本平均约812个英文单词，所对应的摘要平均约49个英文单词。

模型一 指针生成网络模型
该模型出自论文“Get To The Point: Summarization with Pointer-Generator Networks”，论文见https://arxiv.org/pdf/1704.04368.pdf
该论文是nlp领域非常经典的一篇论文，建议大家精读一下，或者在网上搜一下阅读笔记
这种经典论文网上的资源很多的，这里就不赘述了

模型二 加入transformer的指针生成网络模型

代码：
https://download.csdn.net/download/youzhiqingnian23/87916429