#今日论文推荐#ACL 2022 | 自描述网络的小样本命名实体识别_命名实体识别sota论文

#今日论文推荐#ACL 2022 | 自描述网络的小样本命名实体识别

小样本 NER 需要从很少的实例和外部资源中获取有效信息。本文提出了一个自描述机制，可以通过使用全局概念集（universal concept set）描述实体类型（types）和提及（mentions）来有效利用实例和外部资源的知识。
具体来讲，我们设计了自描述网络（SDNet），一个 Seq2Seq 的生成模型可以使用概念来全局地描述提及，自动将新的实体类型映射到概念中，然后对实体进行识别。SDNet 在一个大规模语料中预训练，在 8 个 benchmarks 上进行实验，实验结果表明，SDNet 取得了很有竞争力的效果，并且在 6 个 benchmarks 上达到了 SOTA。

小样本 NER（FS-NER）的目标是通过很少的样本来识别出属于新实体类的实体提及。FS-NER 面临两个主要的挑战：
1. limited information challenge：少量样本所包含的语义信息有限。
2. knowledge mismatch challenge：使用外部的知识直接与新任务进行匹配可能有各种偏差甚至产生冲突。
具体来说，在 Wikipedia，OntoNotes 和 WNUT17 中，“America” 的标注分别为 “geographic entity”、“GPE” 和 “location”。因此，如何有效利用少量数据并且准确迁移外部知识是 FS-NER 的关键挑战。
为此，作者提出了自描述机制，其主要思想是将所有的实体类型描述为同一个概念集，类型和概念之间的映射是可以建模和学习的，这种方式可以解决知识不匹配的问题。同时，因为这种映射是全局的，对于少量新实体类样本来说，只需要将这部分数据用来构建新实体类型和概念之间的映射，也解决了信息不足的问题。

具体来讲，为了获取一个提及的语义，SDNet 生成一个全局的概念集作为描述。例如：生成 {capital，city} 对于句子“Dr。Kohl came to [Beijing].”。为了映射实体类型和概念，SDNet 将属于同一实体类型的提及映射到这些提及所对应的概念中。例如：对于 [Beijing] 和 [America] 两个属于 GPE 类型的提及，将 GPE 这一类型映射到 {country，capital，city}。
对于实体识别，SDNet 使用 concept-enriched 的前缀 prompt 的方式直接在一个句子中生成出所有的实体。例如：在 “France is beautiful.” 这句话中通过生成出 “France is GPE.” 来识别实体，构建一个前缀 prompt“[EG] GPE：{country，capital，city}”。因为概念是全局的，所以我们可以在 SDNet上使用大规模语料库预训练，并且可以很容易的使用 web 资源，具体来说，我们通过使用 wikipedia 锚词到 wikidata items 之间的连接构建了包含 56M 个句子，31K 个概念的数据集。
本文的主要贡献总结如下：
1. 我们提出了自描述机制来解决 FS-NER 问题，可以有效解决信息限制和知识不匹配的挑战通过使用一个全局的概念集描述实体类型和提及；
2. 我们提出 SDNet，一个可以全局的使用概念描述提及，自动映射新实体类型和概念并且识别实体的 Seq2Seq 生成模型；
3. 我们在一个大规模的公开数据集上预训练 SDNet，对 FS-NER 提供了全局信息并且对未来 NER 的研究有益。

论文题目：Few-shot Named Entity Recognition with Self-describing Networks
详细解读：https://www.aminer.cn/research_report/62fa40cf7cb68b460f03caafhttps://www.aminer.cn/research_report/62fa40cf7cb68b460f03caaf
AMiner链接：https://www.aminer.cn/?f=cs