AI架构师必知必会系列：命名实体识别

作者：禅与计算机程序设计艺术

1.背景介绍

命名实体识别（Named Entity Recognition，NER）任务是指从文本中识别出有意义的片段，并对其进行分类或归类，如人名、地名、机构名、组织机构名等。而在实际应用场景中，NER又往往作为关键词提取、文本分类等任务的基础工作环节，因此命名实体识别也成为自然语言处理领域中最重要的数据科技之一。因此，越来越多的人们开始关注、研究并采用基于深度学习技术的命名实体识别方法。
目前主流的基于深度学习的命名实体识别方法有基于感知器网络（Perceptron Network）的序列标注模型（BiLSTM-CRF），基于Transformer的模型（BERT+CRF），基于双向循环神经网络的模型（Bidirectional LSTM-CRF）。除此之外，还有一些基于注意力机制（Attention Mechanism）、条件随机场（Conditional Random Field）、记忆网络（Memory Networks）的方法也被广泛应用。
本文将主要介绍基于BiLSTM-CRF的命名实体识别模型。

2.核心概念与联系

命名实体识别常用到的基本概念如下：

1. Tokenization: 将文本分割成一串字符称为Token，然后按照一定规则进行Token到Tag的映射。常用的Tokenizer如wordpiece tokenizer、BPE tokenizer。
2. Tagging scheme: 对每个Token都打上一个Tag标记，标记的内容通常包括实体种类（PER、LOC、ORG等）、关系类型&#x