Py之spacy：spacy/spacy-transformers 的简介、安装、使用方法之详细攻略_python spacy

Py之spacy：spacy/spacy-transformers 的简介、安装、使用方法之详细攻略

目录

spacy/spacy-transformers 的简介

1、特点

1.1、spacy的特点

1.2、spacy-transformers的特点

2、文档说明

spacy/spacy-transformers 的安装

1、安装spacy和spacy-transformers

1.1、单独安装spacy

1.2、同时安装 spacy和spacy-transformers

2、从源代码编译

3、下载模型包

T1、命令自动下载

T2、手动下载

成功解决OSError: [E050] Can't find model 'en_trf_bertbaseuncased_lg'. It doesn't seem to be a Python package or a valid path to a data directory.

spacy/spacy-transformers 的使用方法

1、加载和使用模型 要加载模型

2、属性方法解释

3、基于spacy_transformers 设置流水线

4、基于spacy_transformers 从路径加载模型

5、Tokenization对齐

6、批处理、填充和逐句处理

7、TransformersLanguage的API

spacy/spacy-transformers 的案例应用

1、基础用法

NLP：利用spacy的en_core_web_sm预训练语言模型实现四种底层基本任务—分词/词频统计/词性标注/词向量)、依存句法分析)、相似度计算)、命名实体识别NER/提取短语/提取句子)应用案例实现代码

NLP：利用spacy的en_trf_bertbaseuncased_lg预训练语言模型实现四种底层基本任务—词法分析(词向量)、语义分析(语义解析)、信息抽取(命名实体识别NER)应用案例实现代码

NLP：利用spacy的en_core_web_sm预训练语言模型通过对文本数据的依存分析法(主*/**树结构)实现将大量的文本数据转化为结构化数据应用案例实现代码

NLP：利用spacy的en_core_web_sm预训练语言模型通过对文本数据的命名实体识别法(实体及其类型/ORG_PERSON_GPE)实现将大量的文本数据转化为结构化数据应用案例实现代码

LLMs之spaCy：利用spaCy管道训练大模型案例—对预训练的BERT、XLNet和GPT-2实现图文教程之详细攻略

2、进阶用法

NLP：利用spacy的en_core_web_trf预训练语言模型实现五种顶层应用任务——文本分类(情感分类)任务

LLMs之BERT：基于spaCy框架利用预训练Transformer(如BERT)进行多任务学习(添加自定义任务—文本情感分类)训练并进行模型打包和模型推理应用案例实现代码

LMs之BERT：基于spaCy框架利用预训练Transformer进行多任务学习(自定义任务—文本情感分类和命名实体识别NER)训练并进行模型打包和模型推理应用案例实现代码

---

spacy/spacy-transformers 的简介

       spacy是一款工业级自然语言处理工具。spaCy 是一个在 Python 和 Cython 中用于高级自然语言处理的库。它基于最新的研究成果，并从一开始就设计成可用于实际产品。
       spaCy 提供了预训练的流程，并目前支持70多种语言的分词和训练。它具有最先进的速度和神经网络模型，用于标记、解析、命名实体识别、文本分类等任务，还支持使用预训练的转换器（如BERT）进行多任务学习，以及生产就绪的训练系统、简单的模型打包、部署和工作流管理。spaCy 是商业开源软件，采用 MIT 许可证发布。

       spacy-transformers 是 spaCy 的一个扩展库，用于在 spaCy 中集成和使用预训练的转换器模型（如BERT、GPT等）。它允许使用 spaCy 的功能和工作流程来处理文本数据，同时利用强大的转换器模型进行词嵌入、命名实体识别、语义解析等自然语言处理任务。
       spacy-transformers是在 spaCy 中使用预训练的转换器（如 BERT、XLNet 和 GPT-2） 该软件包提供了 spaCy 的组件和架构，通过 Hugging Face 的 transformers 库在 spaCy 中使用转换器模型。结果是方便地访问最先进的转换器架构，如 BERT、GPT-2、XLNet 等等。
       spacy-transformers 提供了更简便的集成和使用预训练的转换器模型的方式，使得在 spaCy 中进行自然语言处理任务更加灵活和高效。spacy-transformers 提供了一个 TransformerModel 类，用于加载和使用预训练的转换器模型。您可以使用该类将转换器模型与 spaCy 流水线（pipeline）中的其他组件（如词性标注器、句法分析器等）进行集成。

GitHub地址：

https://www.wpsshop.cn/w/羊村懒王/article/detail/343471?site