Bert基础(十八)--Bert实战：NER命名实体识别_bert命名实体识别

1、命名实体识别介绍

1.1 简介

命名实体识别（NER）是自然语言处理（NLP）中的一项关键技术，它的目标是从文本中识别出具有特定意义或指代性强的实体，并对这些实体进行分类。这些实体通常包括人名、地名、组织机构名、日期、时间、专有名词等。NER在许多实际应用中都非常重要，如信息提取、文本挖掘、机器翻译、自动摘要等。
NER的任务主要分为两部分：

1. 实体的边界识别：这部分任务是要确定文本中实体的起始和结束位置，即在文本中准确地定位出实体的边界。
2. 确定实体的类型：在识别出实体的边界之后，还需要确定每个实体的具体类型，如人名、地名、机构名等。

例如，在处理文本“马云在杭州创建了阿里巴巴”时，NER系统需要识别出“阿里巴巴”是一个组织机构名，“马云”是一个人名，“杭州”是一个地名。

NER的技术实现通常涉及机器学习、深度学习等方法，通过训练模型来识别和分类文本中的实体。随着深度学习技术的发展，NER的准确率和效率有了显著提高，成为NLP领域研究和应用的热点之一。我们今天使用transformers库来实现一下。

1.2 标注方法

序列标注的方法中有多种标注方式：BIO、BIOSE、IOB、BILOU、BMEWO，其中前三种最为常见。

• BIO：标识实体的开始，中间部分和非实体部分

  • b代表“开始”(表示命名实体的开始，即NE)
  • I代表“内部”(表示该词在NE内部)
  • o