Huggingface Transformers库学习笔记（一）：入门（Get started）_odel的一些标记身份或者加载模型时的类变量。 huggingface的transformers库提

前言

Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常轻松的调取。同时，也可以通过Pytorch和TensorFlow 2.0进行编写修改等。
本系列学习资料来自于该库的官方文档（v4.4.2），链接为Transformers

入门（Get Started）

快速开始（Quick tour）

该库下载了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。

首先，我们利用管道API来快速使用那些预先训练好的模型。
然后，我们将进一步挖掘，看看这个库是如何访问这些模型并预处理数据。

使用Pipeline快速上手（Getting started on a task with a pipeline）

在给定任务上使用预训练模型的最简单方法是使用pipeline()方法。Transformers对以下任务提供了开箱即用的方法：

• 情感分析:文本是积极的还是消极的?
• 文本生成(英文):提供一个提示，模型将生成以下内容。
• 名称实体识别(NER):在一个输入句子中，用它所代表的实体(人、地点等)标记每个单词。
• 填空文本:给定一个带有填空单词的文本(例如，用[MASK]代替)，填空。
• 摘要:生成一篇长文章的摘要。
• 翻译:用另一种语言翻译一篇文章。
• 特征提取:返回文本的张量表示。

对于一个简单的任务，例如对一个句子进行文本情感分类，利用Pipeline可以在几行代码之间完成这项工作：

from transformers import pipeline                                         # 导入pipeline
classifier = pipeline('sentiment-analysis')                               # 使用文本情感分析任务的分类器
classifier('We are very happy to show you the 
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/585429