Text Summarization with Pretrained Encoders 论文笔记

Text Summarization with Pretrained Encoders

大致介绍

1. 我们的工作是将bert用于文本摘要，并提出了生成式和抽取式文本摘要模型的框架
2. 我们提出了基于bert的文档级的编码器
   1. 抽取式模型在这个编码器后面加了几个transformer层
   2. 生成式模型：我们提出新的微调方法（对encoder和decoder不一样）来缓解两者的不匹配（encoder被pretrain过）
   3. 综合两种方式的方法：微调两次，都微调
3. 我们的贡献：
   1. 突出了文档编码的重要性（相对于近年来的复制机制、增强学习……
   2. 使用预训练模型来进行摘要
   3. 提出的模型作为baseline

简单介绍历史

在最前面列举了几个之前的抽取式模型（分类模型），可以看看：SUMMARUNNER、LATENT、SUMO、NEUSUM（为什么都是华人提出的）

生成式模型：seq2seq。举了前面的模型，没仔细看~

在摘要任务上微调bert

摘要任务编码器

bert输出token，而摘要是句子

bert输入是句子对，摘要更多句子

其中的EA等是根据奇偶分配的。

实验略……