NLP文本摘要NO.1_dxnlp

什么是文本摘要任务

本质: 文本摘要任务就是利用模型自动完成关键信息的抽取, 文本核心语义的概括, 用一个简短的结果文本来表达和原文本同样的意思, 并传达等效的信息.
例如：
中学语文课的中心思想概括.
新浪体育上的体育新闻短评.
今日头条上的每日重要新闻概览.
英语考试中的概括某段落信息的选择题.

文本摘要的基本方法和思路.

从NLP的角度看待文本摘要任务, 主流的涵盖两大方法:
抽取式摘要: Extraction-based
生成式摘要: Abstraction-based

抽取式摘要(Extraction-based)：
直接从原文中选择若干条重要的句子, 并对它们进行排序和重组, 以形成摘要的方法.
无监督抽取: 不需要平行语料, 节省了人工标记的成本. 大体上有如下几种:
Lead
Centroid
ClusterCMRW
TextRank
最著名的无监督抽取方法就是TextRank算法. 这些方法都是基于统计层面的, 即最大化摘要句子对原始文档的表征能力.

有监督抽取: 将文本摘要抽象成二分类问题, 通过神经网络来学习句子及其标签之间的对应关系. 需要平行语料, 需要人工标记的成本. 常见方法有如下几种:
R2N2
NeuralSum
SummaRuNNer
BertSum
最著名的有监督抽取方法就是BertSum算法. 也是目前有监督抽取中最有效, 最前沿的方法.

生成式摘要(Abstraction-based):
采用基于神经网络模型的结构, 通过Encoder + Decoder的连接方式, 自由生成一段概括源文档信息的文本.

生成式摘要基于对篇章article的精确理解, 回顾之前我们对字向量, 词向量的理解. 再到语句, 段落的理解, 难度不断增加. 现在升级到了大段落, 甚至篇章的理解, 因此文本摘要是一个很有难度的任务.