【文本生成】评价指标：事实一致性Evaluating the Factual Consistency of Abstractive Text Summarization_自然语言生成 事实一致性指标

论文：2019年《Evaluating the Factual Consistency of Abstractive Text Summarization》
https://arxiv.org/pdf/1910.12840.pdf

motivation

经研究高达30%的摘要是和原文事实不符的，到目前为止也没有非常好的办法去解决摘要与原文的事实一致性。

introduction

与事实一致的问题与两个问题最为接近：一个是natural language inference（NLI），一个是fact checking。

当前的NLI数据集一般都是短的单句匹配，事实一致性却是要与全文去匹配。

fact checking是事实与知识匹配，而事实一致性是原文提供的信息和原文作匹配，并不保证信息是否一致。

methods

本文用了一种弱监督的方法构造训练集，通过构造的sentence-document pair，可以判断是否与事实一致。

训练集由采样原文句子获得。

• paraphrasing

  采用回译方法，用Google Cloud Translation API，默认语义不变。

• entity and number swapping

  用NER识别后，随机替换。比如人名就替换成识别到的其他人名。用的是SpaCy NER t