PaddleNLP命名实体识别环境搭建&推理测试_paddle 实体识别

引子

最近手上接了一个活儿，基于文本语料的实体抽取任务，调研了一圈发现目前开源轮子做的比较好的也就是PaddleNLP（大模型那种巨废资源，且幻觉严重的，不予考虑）。OK，那就让我们开始吧。

一、命名实体识别概念

命名实体识别（Named EntitiesRecognition，NER）是自然语言处理的一个基础任务。其目的是识别语料中人名、地名、组织机构名等命名实体。由于命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的一些规律性，因而，通常把对这些词的识别从词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别。命名实体识别技术是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。

二、PaddleNLP环境搭建

conda create -n PaddleNLP python==3.9

conda activate PaddleNLP

pip install paddlepaddle-gpu -i Simple Index

pip install --upgrade paddlenlp -i Simple Index

参考文档

https://www.wpsshop.cn/w/AllinToyou/article/detail/545671