论文解读 | 百度 ERNIE: Enhanced Representation through Knowledge Integration

作 者：王 琴

单 位：燕山大学

摘要

本文受Bert mask策略的启发，提出一种新的语言表示模型，称为ERNIE(Enhanced Representation through Knowledge Integration).ERNIE旨在学习到通过知识屏蔽策略增强的语言表示，其中屏蔽策略包括实体级屏蔽(Entity-level strategy)和短语级屏蔽(Phrase-level strategy)。 entity-level 策略通常会掩盖由多个单词组成的实体; Phrase-level 策略会掩盖由几个词共同作为概念单元的整体短语。实验结果表明，ERNIE优于其他基准方法，在包括自然语言推理、语义相似性、命名实体识别、情感分析、问答系统在内的五个自然语言处理任务上取得了好结果 。作者还证明了ERNIE在完形填空测试中具有更强大的知识推理能力。

文章介绍

在绝大多数的研究中，仅仅通过上下文来预测丢失的单词并对其进行建模。 这些模型没有考虑句子中的先验知识。 例如，在句子“哈利·波特是由罗琳（J. K. Rowling）创作的一系列幻想小说”中。 哈利·波特（Harry Potter）是小说的名字，而罗琳（J. K. Rowling）是作家。 模型很容易通过实体内部的单词搭配来预测实体Harry Potter的缺失单词，而无需借助较长的上下文。如果模型学习更多有关先验知识的信息，则该模型可以获得更可靠的语言表示。ERNIE不是直接添加知识嵌入（knowledge embedding），而是隐式地学习有关知识和较长语义依赖性的信息，例如实体之间的关系，实体的属性和事件的类型，以指导单词嵌入学习。
　作者所做的贡献如下：
　（1）引入了一种新的语言模型学习处理，掩盖了诸如短语和实体之类的单元，以便从这些单元隐式学习语法和语义信息。
　（2）在各种中文自然语言处理任务上，ERNIE大大优于以前的最新方法。
　（3）发布了ERNIE和预训练模型的代码，可在https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformer